もう疲れました

職場の人間関係に疲れました。 考えすぎという意見もあるかもしれませんが 少しだけ聞いてください。 私は人手が足りてない会社でパートで働いてます。 元々 シフトの融通が聞くからと入った会社ですが 私より前に入った社員さんが 病気で辞めてしまいました。 散々辞める前にも 職場の人間関係で話は聞いてましたが 自分は勤務時間が少なかったためその社員さんの言う事が理解出来てなかったです。 その社員さんがやめた後人手不足になり 勤務時間も出勤日数も格段に増えました。 そこで社員さんの言ってたことが 理解出来たのです。 例えば、上の人が 私抜きで飲み会の約束をしていたり 近くにいる他のパートさんにLINEで会話してみたりと 少々 ん？、と思うことがありました。 1人、1人と話す時はそのようなことは無く 普通に話ししてくれる人ですが 群れたら 何を言っているかわかりません。 気にしないのが1番なのですが 小さい店舗 職場なため 嫌でも気になってしまいます。 悪口を言わない人はいないと思いますし 私も言われないように仕事は真面目にしてます。 けどあからさまにされるのが嫌で せっかく続けてきた職場を辞めるのも嫌で どうしたらいいのか悩んでます。 ご意見お聞かせください。