ランチが辛い。女3人は難しい。

よくある話なのですが、職場でのランチが辛いです。

メンバーは、おじさん一人と女三人。
なんだその組み合わせ？って思うでしょうが理由があります。
おじさんは、再雇用の方で以前職場でお弁当が支給されており会議室で
皆一緒に食べておりました。
しかし、弁当は各自持参になったから、皆個々のデスクで食べるようになりました。私たち以外は。。。
おじさんが、ご飯は皆で食べるほうがおいしい！といって
私も流れで「そうですね・・・」なんていったもんだから。
女性は3人しかいません。あとは男性です。
おじさんは他の男性職員を誘いましたが、皆自分のペースで食べたいらしく、断られてました。
実は私も、デスクでゆっくり食べたい派なのです。雑誌読んだり、携帯いじったり。
元々、会話が苦手で人の輪に入っても居心地の悪さを覚えます。
「じゃあ、抜ければいいじゃん」って思うでしょうが、女性三人のみの職場で微妙なバランスを保っています。
どちらかというと、私が一歩引く感じですが。
派遣なのであと半年我慢すればよいのですが、なんとも憂鬱です。
私が抜ければ、きっと陰口を言われるのが見えてます。
「あの子変わってるから・・」みたいなこと言うのが目に見えています。
そして、そこから陰口大会が始まったりしますよね。
些細なきっかけで。そして二人でもう一人を陰でこそこそ笑うみたいな。
そういったことをされた経験があるので、二度とあんな思いはしたくない。

ランチを共にしつつウマクやっていくのは、どうしたらよいのでしょうか？