職場で言いたいことが言えなくてつらいです。

31歳、男、会社員です。大学卒業してからずっと同じ職場で働いています。事務職です。 職場でのことなのですが、ひと言多い人にだったり、何かとグイグイくる人にだったり、嫌味っぽい人にだったりに、傷つくことや嫌味を言われると、その場で言い返すことが出来ずに、「はい」とか、「ええ」とか、「そうですね」とかだけ言って、いつもへらへらして受け入れてしまいます。 そして少したってから、酷いことを言われたということに気付いて、ああいえば良かったとか、言うべきことはちゃんと言えば良かったとか思ってしまい、猛烈な怒りと自己嫌悪におちいり、とても嫌な気持ちで仕事をしています。時間がたってから言いに行ってもおかしいし結局押し込めてしまいます。それが1日に2,3回あります。 同僚や一部後輩にも嫌な思いをすることがあるので、きっとなめられていて、何を言っても言い返さないやつだと思われているのだと思います。 そういう自分が分かっているので、いつも緊張して構えているのですが、いざそういう場面になると、結局何も言えずに笑ったりして誤魔化してしまいます。 1人で勝手にストレスを溜めているような状態です。 何か言われると、一瞬頭が真っ白になるのと、もめるのが嫌（嫌われるのが嫌）という感情があるんだと思います。 こう言われた時はこう言おうとかシミュレーションしたりしていろいろ試みたのですが、どうしてもその場で言葉が出てきません。普段も口数が少ないほうですが、特にそういう時は失語症のようになってしまいます。長く会社員をしていて、こんな質問をして本当に情けないです。ちゃんとその場で、受け入れがたいことであれば言い返す、こちらに非があったとしてもその場で言うべきことはちゃんと言えるようになりたいです。どうしたらよいでしょうか？