職場の休憩が苦痛です

私の職場の休憩室は畳、机、テレビ、冷蔵庫、エアコンなどがあり１人暮らしの部屋のようです。

一人なら居心地いいのですが休憩は４，５人で机を囲んで食べます。
テレビはかかっているので無言でもシーンとはしませんが気まずいです・・。
特に他の人が休憩室をちょっと出ていて男性と２人きりになるともう気まずくて気まずくて。
もちろん会話することもありますが弾みません。

あと、女性を含め４，５人でも私は会話に入っていけないので苦痛です。
うなづいたりして話は聞いていますが1時間が辛いです。

まだ広い食堂で1人で食べていたほうが気楽です。
机を囲んで食べなければいけない職場は初めてで・・・。

だからと言って車で食べるのは嫌なんです。
夏や冬にエアコンまでつけて隠れて食べるのも変だなって思って。

仕事は辞めたいほど嫌ではないので続けたいです。
でも毎日休憩が憂鬱です。
どうしたら気が楽になるでしょうか？
特に男性と2人きりになったりした時はどうすればいいですか？