考え方のアドバイスを下さい。

３０代後半、独身、会社員、女性です。

元社員の男性（４０代半ば独身）がオフィスに頻繁に出没することが許せなくなってきました。

今年の冬に転勤したのですが、移動してきた先にこの元社員が居ました。
最初は同じ会社の人だと思っていたのですが、すぐ近くの会社に勤めているオペレーターの人だと分かりました。
元々、今私が働いている会社に長年居た人らしく、今でも人手が足りないときはお手伝いに来てもらっているとの事です。
仕事内容が暇らしく、一度機械を動かすとやることがないので、１時間に１度１５分間しゃべりに来ているという状態です。
主にずっと上司と話しているのですが、もうその内容が上から目線で本当にうっとうしく、あんたなんでそんなに偉そうなの！？しかももうここの社員じゃないよね！？って感じです。
私の上司（６０代）と仲が良いので、私も愛想よくしていましたが、偉そうで図々しい感のある割には小心者な性格が私的に受け付けません。

上司の上司、あるいは事務員さんから、たびたび休憩時間以外に来ないで下さいと注意を受けるものの、ビルの階数が違う事を良いことにやってきます。
上司に直接迷惑であることをチラと言ったこともあるのですが、上司はとにかくその人が好きらしく、その人の肩を持つ言い方でもってやんわりと庇います。

何か月かして、その男性が現れるたび、いつもイライラしてしまうので、色々対策を講じはじめたのですが、
その男性が来たら場所を移動する→仕事放棄することになってしまうのであまりできない。
無視→周りの社員に探りを入れている。ほっとけ。
直接冗談交じりに言ってみる→伝わってない。むしろ冗談が言えるほど仲良くなってると勘違い？

もう夜寝る時にもそいつの声がこだまして嫌悪感でいっぱいです。
そいつが来たら、耳栓しようかなと思うんです。いいでしょうか？