50代の上司の私語が止まらない

30代女です。職場の50代の男性が、朝から1日中大きな声でお喋りをしており仕事に集中できません。

話の内容は、趣味の話から人の悪口、また係長という立場のため、係員から相談を受けるのですが、それに対する回答が1〜2時間かかります。（お互い解決しようとする気がなく、どうしよう〜、それは相手が悪いなどを延々と話しています）
話が終わって5分、10分したら別の話がはじまります。これが延々と、毎日です。
もちろんその間の仕事は一切進んでいません。
また、よく働く人が嫌いで「残業やるやつは能力がない」と言っており、どんなに係員が残っていても自分は先に帰ります。

最初はうるさいなと思うぐらいだったのですが、段々その声が大きく耳に刺さる感じのトーンなので、耳栓をしながら仕事をしています。
しかし、その人の大きな声は突き抜けて聞こえ、逆に電話や他の方の話しかけ声が聞こえません。

困って、上司に相談したのですが、「自分は気にならない、歳上だから注意しにくい、あなたが個室にこもって作業すればいい」など言われ取り合ってもらえませんでした。
職員課にも相談したのですが、なんとかすると言われたまま何もかわりません。
ちなみに、前の席に座っていた別の女性は、その声と業務の相談ができないことから、精神的に病んでしまい、長期で休んでいます。

私も常にお腹を下しており、このままだと精神的にもたない気がしています。
が、誰も助けてはくれません。
この状態では、転職するしかないのでしょうか。仕事はやりがいがあるので続けたいのですが、環境に耐えられそうにありません。