障害者ですが、パワーハラスメントを受けています。

後天性の難聴♀で、コミニュケーションに障害がある者ですが、別部署の上役♂の行為に大変不快な思いをしています。

きっかけは飲み会でした。
私が入社したての頃、配属先とは別の部署の人たちとの飲み会に頻繁に誘われて参加していたのですが、（女性が少ない職場ですので、おそらく「女だから」という理由で誘われていたかと）いつも合コンのように軽薄で苦手なノリである事と、何度も直属の上司の中傷に同意を求めてこられたので、参加することをやめてしまいました。

コミュニケーション能力の低さのために、
これまで誰かを中傷する人たちと関わり、その人たちに私の悪いところや弱点がわかった時に、私が中傷や苛めの対象にされてしまうというようなことが何度もあったからです。

関わらなければ、何も問題は起きないと思っていたのですが、ある日その関わりを絶ちたいと思っていた部署の上役の希望で、その部署に異動する事になりました。

が、その部署に異動した時から次第にうつっぽく・会社を休みがちになり、（過去のトラウマのせいだと思います）元の部署に戻らせていただくことになったんです。それが、その部署の上役の怒りを買ったんだと思います。

私の立場を悪い方にもっていこうとしているようで、定期的な上司との面談時に
「私自身はあなたの仕事を高く評価したいと思っているけれど、あなたの事をひどく悪く言う人がいて、その人のために評価が下がってしまうことがあるかもしれない。期待しないでください」
と言われました。
別部署の上司は、職場でも露骨に嫌な態度を取ってきます。

できれば関わりたくないのですが、そのような事をされて気が滅入ってきました。自分のせいで誰かに飛び火する事を恐れ、最近はずっと一人でごはんを食べています。

このような人とはどう接するべきなのでしょうか？