苦痛な昼食時間

まもなく40歳のチャチャと申します。 現在、とある会社に勤務しています。 業務内容は良いのですが、ランチの時間が最近苦痛になってきました。 同じフロアの他部署の人たちも含め、女性だけで5～6人ほどでランチをするのですが、 ・絶対に私の目の前の席に座ろうとしない(まず、空いていたら他の席へ)ほぼ全員 ・ふとした目線や仕草であまり好かれていない事が分かる　ほぼ全員 ・メンバーの2人くらいの言動が明らかにとげがある　 ・話題が人の悪口・陰口・文句など　半数くらい で、少々疲れてきました。 ランチメイトの皆さんは、私より一回りほど下の方が多く、既婚者で子持ちなのは私くらいです。 ですので、完全に「おばさん」扱いされています。 面と向かっては言いませんが、上記の行動から明らかです。 このままランチをともにするか、1人で食べるか悩んでいます。 新部署発足以来、このメンバーで食べているので、今更急に脱退するのも何かおかしいですし。 あと移動の際にも、あまり横とか近くに近寄りたくないみたいな雰囲気がビシバシ感じられるし、人の服装を後ろとか斜めとかからジロジロ見ているんです。 正直、息抜きのための時間が苦痛でしかありません。 皆さんならこのような場合どうされますか？ ランチを止めるのも「逃げた」ようで少し腑に落ちない面があるのですが、帰宅してからも引きずってしまうので、止めた方が良いのかと考えてしまいます。 いい年して子供のような悩みですみませんが、ご意見をお願い致します。