息をするように悪口を言う派遣さん

私の会社で十数年働いている派遣のAさん（40代女性）がいます。
仕事ができ、コミュニケーションスキルもあり、決して悪い人ではありません。
私はまだ勤めはじめて数年の20代女なのですが、
仕事上でぶつかることはあっても、なんとか仲良くしてきたと思っていました。

しかし、飲み会等で悪口を大々的に言われていることがわかりました。
きっかけは、他の部署の方に何気なく言われたことでした。
聞く人が聞けば悪口に聞こえるようなことで、私がいないところで言われており、私が聞いたわけではないので、「そういうつもりで言ったわけではない」と思うようにしていました。

ですが、他の飲み会で今度は面と向かって（他の人もいる前で）
「私は、60点以上の人とは仕事ができる。仕事60点、性格40点満点として、なつめさんは仕事はできるけど性格はきつい。だからあなたは60点。だから一緒に仕事してあげる。」
と言われました。飲みの席だったこともあり、笑って流しましたが、後々考えると酷く失礼なことを言われていることに気づきました。

敵対心むき出しなのかと思いきや、他の方の悪口（にもとれるような発言）を度々しています。
また、失言も多く、内緒にしておいて欲しいことを平気で対象の人へ向けて発言したり、おそらく思ったことをそのまま発してしまうタイプの人間かと思い、徹底的に接することをやめました。
幸い、仕事上の接点もほとんどない状態でしたので、支障はありません。

しかし、接点をやめても尚、私の話をしていることを人づてに聞くことがあり、
いつ陰口をたたかれているかと思うと、怖くてしんどいです。

どうにか仕事に集中したいのですが、
いつ何を言われるかと思うと彼女の声が聞こえるだけで平静を保てません。
どうしたら仕事に集中できるでしょうか。
彼女の声が聞こえるたびに悪口がリフレインして辛いです。