職場の人の性質を気にしない方法

職場において、仕事にあまり関わらない部分の個人の性質を気にしない方法はありますか？ 個人の性質というのは、ハラスメント体質、噂好き、小さな嫌がらせ好き、マウント好きといったものです。 どこの職場にもいる人たちなので、気にしなければいいのですが、何となく気にしてしまいます。 自分が被害に遭っていなくても「子供じゃないんだから、全く…」と気になったり。 気持ちを切り替える良い方法はありますか？