仕事は好きだが、休憩で「休憩」ができず退職をしたい

30代女性です。最近働き始めた会社の事で悩んでいます。
職務内容は私に合っていて、もっと深くこの仕事の内容を学びたい、こなしたいという気持ちがあるのですが人間関係で躓いています。

具体的にはお局様への苛立ち、女性パート同士の陰湿な確執です。
お局様は一日中おしゃべりばかりで仕事をしないので気が散ってイライラの原因になっています。

パート同士の確執は簡単に言うと皆が皆陰口や悪口ばかりで気分がとても滅入ってしまいます。
上から目線だと重々承知なのですが、働いている人たちのレベルがあまり高くなく、ストレスに感じることが多々あります。

昼食時は休憩室で1時間取りますが、皆さんこぞって自分自身や子供の自慢話、悪口（人をけなす様な事も平気で言います）を延々と一時間聞きながら頷きながらという形になってしまっているので休んだ気になれません。

外出は会社で禁止されている為、そこで休憩を取るか、仕事をするデスクに戻るかという感じです。私と同じく休憩室で休憩を取りたくない方が何名かいるのですが、そういう方たちはお弁当だけ休憩室で食べ、その後仕事部屋に戻り読書をしています。

でも、私は自由に食べたり、外に食べに行ったりしたいです。
そうしないと気が休まりません。（仕事場に戻り休憩時間を過ごしている場合でも必然的に電話を取ったり来客対応をしたりしなければなりません）

しっかり休んでからこそ午後の仕事を頑張れるし、休憩中まで神経を使いたくないと私は思うのですが・・。
本来なら皆にうまく合わせ、和気あいあいとお昼を過ごすのが最良なのだと思うのですが私にはかなり難関で悩んでいます。

休憩と周囲の必要以上の私語に我慢ができず退職を考えています。
こんな考えではいけない事でしょうか？
どこに行っても同じ悩みはあるでしょうか？
私は甘いでしょうか？