女性ばかりの職場に馴染めません。

３０歳、正社員で働く女です。（既婚、子供あり）
昨年末から異動になり、男性ばかりの部署から、女性ばかり３０名ほどいる部署に入りました。
上司３名だけ男性です。女性ばかりの職場は初めてです。
９割が既婚でお子さんがいる人たちです。

私と同じチームは１０名で、昼食はそのうち５名（同年代）で同じ時間に取ります。
休憩室はひとつしかなく、外に出てはいけない決まりなので、５名一緒に食べなければいけない環境です。
すると、私以外の４名は、その場にいない人の悪口大会になり、それが苦痛でたまりません。

かなり根拠のないことで酷いことを言ったりします。
「あなたもそう思うでしょ？」って言われても「そうかなー」としか言えず（本当に相手の人のこと悪いと思っていないので）、同調しない私に不満そうです。

きっと影で私のことも言われているのだろうなと肌で感じます。

また、散々大嫌いと悪口を言った人と、笑顔でとても楽しそうに話していたりするのを見ると、人間不信になりそうです。

もう一つ苦痛なのは、４名とも同じアイドルグループの大ファンで、それは別にいいと思うのですが、私は洋楽ファンなのですが毎回それをネタに変人扱いされて、その幼稚さにうんざりしています。

小さな出来事ばかりですが、私自身の免疫力が無さ過ぎるのか、最近苦痛でたまりません。

女性ばかりの職場の方、その場を離れられないときの悪口大会に、どう対応していますか？
また、気をつける点などアドバイス頂きたいです。
よろしくお願いいたします。