職場の居心地が悪いです・・・

みなさんこんにちは。ご覧くださりありがとうございます。

私の悩みは、職場の居心地が悪く、やる気が出ないことです。
私の部署は私しか事務職がおらず一人で仕事をしているので誰とも話さず、黙々と仕事をしています。また仕事量も一人当たりとしては多めかと思います。

一方隣の部署は事務職が５人いて、業務に対して人員過剰（と噂で聞きました）だからか割とヒマらしく、上司が外出時や来客中だと席で、上司がいる時でも目の届かない場所やトイレなどでおしゃべりをしています。酷いときは30分以上も席を外していることもありました。電話が鳴ったりしているのに隠れておしゃべりするなんて非常識だと思うのですが。

よりによって、私が一番戸口やロッカールーム、給湯室に近いため、そういうのがイヤでも目に付いてしまうのです。何かひそひそ話をしているのも気持ち悪く、こちらが惨めな気分になってくるのです。しかも、私より後から入社した後輩もそこに加わっているし、なんだか自分が会社にいいように使われているようで……嫌な考えばかり浮かぶようになりました。

そこで、環境を変えられないか、またどうやったら気持ちを切り替えられるか、落ち着いて仕事のできる方法など、ご意見いただけたらと思います。
よろしくお願いします。