人の悪口や噂話が多い上司

タイトル通りですが職場に悪口や噂話が多い上司（男）がいます。
社員全員ではなく嫌いな社員のことはとことん言います。もっと仕事してほしい、他の部署の上長達も皆あの人の事嫌ってる、

言いたくなる気持ちも分かります。
だけど言いすぎとも思います。

社員の噂話は
〇〇店の〇〇は他の社員からお金を借りた、とか人の事をとにかく話します。

正直聞いているのも疲れるし、
また言ってるな、という感じで聞き流すますが、毎日の事なのでいい加減聞き疲れました。

どうしたら良いでしょうか？