誤解される・・・

人から誤解されやすく悩んでいます。

職場の噂話や他人を中傷する人々が元来苦手で
さり気なく遠ざかっていたのですが、
こういった方面の方たちに小さな事で誤解され、
上司から指導を受けるはめになります…。

私は独りよがりな誹謗中傷する人達を否定しませんが
迎合できないため、相手側にしてみると自分らを
馬鹿にしてると思っているのでしょう。

どうしたら良いのでしょうか。