社員のおしゃべり

その部署は社員は２名（男女です）だけで、他は契約社員、派遣社員やパートの方で仕事が成り立っています。

その数少ない社員のおしゃべりに困っています。
２人の社員はずっとその部署が長く、ある意味大変だった時期も頑張っていた人達だと思います。
他の部署の人達からはよく頑張っているねという評価を受けていると思います。

ただ、この二人はほぼ一日、仕事と関係ないことを話し続けています。
ある程度、仕事が忙しくなればおしゃべりもなくなりますが、少しでも時間が出来ると話続けます。

ただ、和気あいあいの雰囲気の職場の為、逆に、仕事を黙々としている私の方がその場の雰囲気を壊しているように見られています。

もううんざりします。
かといって、上司に報告しようにも誰が言ったのかすぐ分かってしまいますし、告げ口をしているようになります。
今の仕事を辞めて転職というのも考えましたが、このご時世、すぐに次が見つかるという保証はありませんし、自分の生活もあるのでそれだけの理由で仕事を辞めるという訳にもいきません。

黙々と仕事をしている私の方が悪者でしょうか？