人間が怖い

40代女性です。
夫と息子が1人います。

小学校の頃から容姿の件で「気持ち悪い」「こっち向くな」など言われたりしてきました。
大学を卒業して社会人になって数年で容姿のことではあまり嫌味を言われなくなりました。
それに仕事面でも評価してもらえ楽しく過ごせていました。

ですが1年前に転職してから容姿の件で嫌味を言われたり、
「あんな人どうして雇ったの」と聞こえよがしに言われたりするようになりました。
定年する女性からの引継ぎで入り女性1人の10人ほどの会社です。
3月で定年した方は結局何も教えてくれず辞めていきましたが、
他の人が教えてくれたりしたので何とか仕事はこなしています。
どうもその定年女性が私が彼女のことを悪く言っていたという噂を流したみたいで
40代後半の男性が聞こえよがしに「人の悪口を言いふらすなんて最低だ」「人間のすることではない」など何度か言われ自分のことと気がつきショックで怖くてたまりません。
私はその女性の悪口を言ったこともないですしなんでそういう話しになっているのかわかりません。

毎日朝夕の挨拶だけはしてもらえますが私だけ会議に呼ばれなかったり、物をどんと置かれたり明らかにみんなに避けられています。
今日は休みですが明日からのことが怖くてたまりません。
何か誤解があるなら解きたいですが自分から言い出す勇気もなくひたすら仕事をしています。
私の悪いところがあるのなら容姿以外ははっきり言って欲しいです。

人間ってなんでこんなに残酷で怖いのでしょう。
みんな4,50代の男性ですがいつもつるんでいて何を言われているかとびくびくします。