ランチタイムが憂鬱

最近倉庫系のパートを始めました。 初めのうちは人間関係もよくランチも仲間とおしゃべりして楽しかったですが、最近入ってきた男性の人と私がよくランチタイムでおしゃべりしていることに関して以前食べていたランチの仲間から無視されている状態になっています。 原因は以前食べていたランチの仲間の一人がその男性と以前の職場が一緒でその人は徹底的に男性のことを無視していて、先日帰りのバスで別の人に「新しく入ってきた男、以前同じ職場だったけどますますキモイと感じる」というのを話しているのを聞いてそれで周りを巻き込んで私のことを無視しているのかという納得ができたのとその男性としゃべってることで無視するなんてというショックが大きいです。 その男性は男性同士と話すのが苦手で女性と話しているほうが楽で最初に決して怪しいと思う女性も多いけど、僕は結婚していてその辺の線引きはしっかりしているからただの仲間として話していいからねと言っていて。聞き上手で女性同士の話のように嫌味でなく私も以前のグループより話しやすい相手だと思ってます。 だけど折角いいランチ仲間ができたのにその男性としゃべってることで周り～変な目で見られてしまい、グループにも溶け込めなく仕事はいい仕事だと思うのにそのことで会社に行くのが憂鬱で明日ずる休みしますが仕事の契約が来月までなのですがもう今からでも辞めたい心境です。 ちなみに会社は物流倉庫で町のはずれにあるので近くに逃げ場になるランチの店がありません。おまけに休憩室や仮眠できるところもありません。 一人で食べてると「さみしい人」とかコミュニケーション取れない人と思われるのでランチタイムが怖く感じます。 同じ経験したことある方？あるいは対処法を知っている方教えてください。