残業中に話しかけてくる上司に困っています

私は現在営業事務の職についています。 最近は仕事の処理が追いつかず、残業することが多々あります。 それ自体は別に構わないのですが、残業中に隣の営業職員(50代男性)が喋りかけてくるので、非常に困っています。 私の営業所の職員は皆独り言がかなり多く、隣の職員も例に漏れずずっと独り言を言っています。 独り言を言いながらこちらをちらちら見てきて、さりげなく構ってアピールするの鬱陶しいです。 悪い人では無いのですが、残業中忙しくしていてもお構い無しに「昨日どこいったー？」「明日どこ行くのー？」「今の時期は〜」など内容のない会話をぶつけてきます。 しかも、それに対して答えても、向こうは自分の話したいことだけをバーッと話してきて、会話のキャッチボールが成立しませんし、価値観や倫理観がまったく違うので話しているのがきついです(家で娘が飼っている猫を蹴るだとか捨てたいとか平気で言います。) こちらからも残業中に話しかけてくるのはやめて欲しいと言ったり、一度所長に困っていることを話して、本人に直接注意してもらいましたが、まったく効果ありませんでした。席替えも出来ません。 毎回のことなのでストレスがすごく溜まっています。 こういう時皆さんならどうしますか？どんなふうに言えば分かってもらえるんでしょうか？