災い転じて福となさず　今後どのように接していけば・・・

職場のお話で恐縮です。
今のご時世、パートでもこの年齢（48歳）になると中々ございません。
でも昨年ありがたく採用通知をいただきました企業がありました。

でもその職場は、若い人が続かなく過去何人も辞めていかれたと言う事実を知りました。
だから私？
その原因なるものが、しばらくいると、いろんな事が分かって参りました。

会社はそこそこの企業の営業所なのですが、私を入れて6名ほどの小さな営業所です。
その内所長含め3人は社員ですが、営業や会議でほとんどいないことが多く、常時在籍しているのは私を入れて女性3名（パート）です。
私以外のAさんBさんは表向きは仲良さそうですが、どちらかがかけると二人ともお互いの悪口を言い合い、その聞き役が私です。
それは、年の功で私も聞き流せておりますが、お互い自分に甘く人には厳しいといった性格なので、どちらが正しいか甲乙つけがたい。
Aさんは出勤状態がいい加減で、しょっちゅう遅刻するうえに私用電話が多い。
Bさんは人の悪口ばかり言う。（時には事実無根の妄想も入る）
そんな状態なので、どちらにも同調できない。
それで黙っていると、知らぬ間にこちらに火の粉がかかってくる始末でどうしようもありません。
オフィス禁煙なのに、仕事中にデスクでタバコ吸うわ、休憩中でもないのに食事をしたり、社員の方が不在を良いことに、ビジネスマナーもあったものではない。

想像はついておりましたが、そんな原因で過去の方は辞めて行かれたのだと思います。

それで私も切れてしまい、今までのことの始終を上司に報告しました。

その後、一見落着したようには見えたのですが、仕事で表向きは気がつき難い、陥れるような意地悪をされ出して来ました。

何とかしたいと思うのですが、どうすれば良いか判りません。
今後私はどうするべきでしょうか？