悪口・嫌味・自慢ばかり言う上司

私（パート）を含め４人（他３人は男性で正社員）の職場に勤めて２年になります。本体とは別にある出張所のような事務所です。
男性は営業職で、上司を除く２人は外へ出ていることが多いです。私の仕事はほとんどが電話番やお茶出しです。

私（30代）と上司（50代）が２人きりになると、自慢話や他の２人の部下の悪口・私への嫌味が始まります。

自分は他人よりできると思い込んでおり、人を見下した言い方しかしません。できる人間は暇なのか、誰かが戻ってくるまで延々と話し続けます。
社長の悪口、本社の人の悪口、元上司の悪口、取引先の悪口、自分のお客さんの悪口、奥さんの悪口・・・上司の周りのほとんどの人が悪口の対象で、呆れるというか哀れです。

怖ろしいのは、休日に他の２人を自分から誘って釣りやゴルフによく出かけたりして仲が良さそうなのに、あれだけの悪口を毎日言っていることです。２重人格としか思えません。
こんな調子ですから、私がいない時は他の誰かに私の悪口を言っているに違いないと思います。

｢決定権は私にある｣、｢私に言わせれば｣、｢なぜか分かる？｣が口癖です。
権限をふりかざすので、聞きたくないといった態度は出せません。

何時間も続けて自慢話や悪口を聞いていると、帰宅時にはぐったりしてしまいます。
条件だけ見れば良い職場なので、ひたすら我慢していますが、なんせストレスが異常に溜まって困っています。

こんな上司がいるという方、ストレス発散法ぜひ教えてください。