言われっぱなしで溜め込み長いこと忘れられない、から脱却したい

私はアラフォー既婚、一児有りのいい年した大人のはずなのに 嫌なことを言われた時に、その場でパッと言い返すことができません。 できるようになりたいと思っています。 ただ、相手を逆にやりこめたり、復讐めいたことをしたいわけではないので 言い返したいというより、うまくかわしたい、といったほうが正しいかもしれません。 何か言われるとまず、 えっ他人にそんなこと言うの、ずいぶん無遠慮ね、とビックリして固まり 特に、相手が会社の同僚、社宅のご近所さん等、トラブルを起こしたらまずいと思っている相手だと 憤慨しつつも曖昧な笑顔で「あ…そうなんだ～」とフニャフニャとごまかした後、話題を変えて逃げてしまいます。 でも、そうしてしまうと、当座の衝突は避けられても その場で自分の気持ちにふたをした分、後々自分の中で引きずります。 そして、一つ一つはたいしたことないことでも、言われ続けたことが重なって 嫌な思いとしてだんだんふくれあがり、いくら生活が忙しくても、気分転換をしてみても消化できなくなり 多分言った方は忘れているだろうに、ふとした時に思い出して苦しくなったりします。 内容によっては、年単位で執念深く覚えています。 我ながら情けないのですが、言われた瞬間、どうするのが良いですか。 どうしてもギョッとして固まってしまうか 口に出せば取り返しの着かないであろう、キツい言い返ししか思い浮かばないかどちらかで どっちにしろ黙ってしまいます。 どうせなら、そのままビックリした顔で無言で相手を見つめつづけている、というのは意味無いでしょうか。 普段から友人でも家族でも「本気で言い返す」ということにすごく勇気が必要で、ケンカになるのを極力避けてしまうので ほとんど経験がありません。 どうしたら変わることができるでしょうか。