噂や悪口の多い職場で少しでも気持ち良く働くには

アラフォーでパートをしています。
今の職場の悪口が多いパートの同僚達に悩んでいます。
その悪口の大半は明らかに私に対する内容です。

私は、フルタイムでもなく、時短勤務で昼休みなしということもあり
業務中のお喋りはせず、同僚達との会話は挨拶や
仕事に関することだけです。

とは言いながら、パートの同僚達に質問しても、何一つ教えてもらった
ことはないです。
そのため、業務中に同僚達と話すことは皆無に近いかもしれません。

今まで、同僚達からこのような言葉だけ言われました。
例えば、

・私に聞いてもこたえられないので。

・私の席に座らないで。
正確には、同僚の隣の席ですが。

・なんで、そんなとこに座っているの。
この場所で作業と社員の指示があったのですが。

・そんなとこに座っているから邪魔。
いつもこの席に座っている同僚もいるのですが
私にだけ言います。

同僚達から話しをかけられることも全くないのに悪口や噂をする、
私から同僚に話しをかけても
質問責めにするだけで会話にならず私を無視する。
違う私がパート同僚達のなかでどんどん肉付けされ、その私の作り話の像が
噂や悪口で広がっているようです。

パートという不安定な立場なので、
こんな馬鹿馬鹿しいことで悩んではいけないと分かっているのですが
すべてが作り話でそのボスも予測はつくので気になります。

このようなとき、皆様ならどのように考え行動されますか。
どのようなことでも構いませんので教えて頂けないでしょうか。