苦手な人。

私は、36歳、独身パート従業員です。
いじめ、病気が原因で引きこもった経験があり、人に自分のことを話すのが苦手です。というか、過去が重く、なかなか心を開けません。
３１の時に、今の職場に入社しました。
最初のころは、なるべくまめにコミュニケーションをとろうとしたのですが、周りと波長が合わないせいか、同僚に話したことを変な風に言いふらされたり、話題が気に入らない相手が黙ってしまったり。
話題は、みんなオープニングスタッフだったので、仕事のことがほとんどでしたが。
周りからは、不思議ちゃん、と言われたりします。
なので最近は、仕事上のコミュニケーションとあいさつ以外は、こちらからは余り話さないようにしています。相手から切り出された時は、否定せず、うなづいたり、そうですよね、とか大変ですよね、とか流しすぎない程度にそう言いながら、きちんときいています。
嫌われることも仕方ないとは思っていますが。
今日、職場の食事会の話が出た時、ある、歯に衣着せぬ物言いで有名な女性が、
「あれが出るんなら、私行きたくない！」
と、言うんですよ。その人がいなくなったときに、他の人に、あれって私のことですか？と聞いたら、あなたのことじゃなくて、○○さんのことだよ、気にしないほうがいいよ、と言ってくれたのですが。
あとで、その、あれが出るんなら出たくない、と言った女性が他の人と、こそこそと、
「あれ、しゃべんねえから、通夜みたいでさ、やなんだよ。」
と言います。ちなみに○○さんはすごく気さくです。
だから、やっぱり、私のことかなあ、と思うんですが。
でも、あれが出るんなら、とか言う女性は、こちらが言ったことが自分の意にそぐわないと、他の部署の知り合いもいっぱいいて、会社中に言いふらして歩くから、腹を割って話したくないんです。

私は、我慢し続けるしかないんでしょうか。