苦手な職場男性

パートで働いている主婦37歳です。
暇な職場なので仕事中いつも話しかけてくる。近くをうろうろして話しかけてきて欲しそうにする。誰か1人に冷たくして他の人には優しくする。（毎回その冷たくする人は変わります）私は最初からムダに声が大きく面白くもないのに何度も失礼なことを言ったりするので苦手でした。けど良い所もあるかもしれないと2年間話していましたが喜怒哀楽が激しくて疲れてしまい最近は普通に接しますが私からは話しかけません。私から後に入った人はターゲットにされて仕事出来ないや変なあだ名をつけキツく当たられ皆辞めてしまいました。お客様にも強くあたります。
上司は彼の味方で相手になりません。
もう疲れました。辞めていいよと主人はいうのですが仕事内容やお客様は良い人ばかりなので辞めたくはないのですが、彼に会うと冷や汗が出て具合悪くなるようになりました。
良い所もあるとは思うのですが疲れます。
どうしたら良いのでしょうか。