職場の雰囲気を悪くしている自分

派遣で働いてます。女です。
職場の雰囲気を悪くしています。

現在の職場に来てから自分でも驚くほど明るくなりました。
それほどしゃべる方ではないですが、おかげで私は明るいポジティブな人という印象を持たれていたようです。

そのうちにAさんがプロジェクトに参画してきました。
とても不快になる仕草をする人で、徐々に嫌悪感を覚えるようになりました。
それでも仕事に関する部分は普通に接して、その人が関わる雑談に加わらなければ大丈夫だろう、周りからは評判のよい人なので、私が混じらなくても気にならないだろうと思ってました。
しばらくは何事もなく過ぎていきましたが、徐々に彼の行動がエスカレーションし、気にしないようにするということが困難になってきました。
Aさん以外の人とはふつうに雑談したりしていたので、それも原因なのかなと思い始めました。
同時期に特定の社員の陰口(愚痴？)が職場では多くなっていて、そういうのを聞くのが苦手な私は周りと話すのが段々億劫になってきました。
やがて陰口のターゲットも私に移り、私の聞こえるところで悪口をいいはじめました。
私の趣味すら悪口のネタになりました。
もう辞めるしかないと思い始めたところで、上司から重要な仕事を任されました。
「辞めさせないから」といってくれて嬉しい反面、退路を断たれたような気持ちでした。
途方に暮れてリーダーと上司に相談しました。
「(彼らは)そんなことするぐらい暇なのか？」という言葉に救われる思いでした。
リーダーからは「雰囲気を悪くしているということはない」と言ってくれたけど、恐怖感を常に感じています。
そして、職場の雰囲気を悪くしています。

私がいなくなれば全て解決する気がしますが、
辞めさせないと言って重要な仕事を振ってくれた上司を裏切ることができません。
みなさんはこのような状況に置かれたときはどうしますか？