うるさいおじさんを調子に乗らすおばさん達

アラフォーの４名の女性と係長のおじさんが一人の部屋なのですが女性のうちの２人がいつもこのおじさんを調子に乗らすので困っています。
おしゃべりが大好きなおやじなので一度しゃべり始めると同じ事を３０分以上しゃべり続け、しかも声がものすごく大きいので仕事になりません。
４名の女性のうち私ともう一人は子供もいるので勤務中は集中して仕事して早く帰りたいので相手にしないようにしているのですが２名はなぜかいつも仕事と関係ないことを話しかけたりして調子に乗らせてうるさいおしゃべりがそのたびに３０分以上続きます。
それで仕事がまわっているならいいですが彼女たちは仕事中はそんな感じでうるさいおしゃべりをし、残業します。

とにかくうるさいのでほんとにやめてほしいです。
さりげなく本人に気づかせるにはどうしたらいいでしょうか。
もっと上の上司にそれとなく相談したことはありますが協調性が足りない、と私の方が評価を下げられました。
どうしたらいいでしょうか。