上記の有無でアドバイス内容が変わりますが...？

ボイスレコーダーで不倫を誘う会話を録音し、会社に提出しましょう。

独身なら、「決まった人がいます」
既婚なら、「夫を愛しています」
でいいのではありませんか。

でも、あまりにしつこく引き下がらない場合は、「これ以上、長引くようなら、私も仕事をしづらくなって、人事の方にご相談せざるを得なくなります」と伝えて、それでも止まなければ、本当に相談してはどうでしょうか。

何日にどんなことわ言われたかなど、手帳にきちんと記録しておいてくださいね。証拠になりますから。

こんにちは。

５０代男性です。

ただ一言で良いです。

（微笑みながら）「奥様に連絡しますよ！」と。

１）信頼できる先輩、同僚に相談。
２）セクハラ相談室に相談（会社によってそういう部署があったり、外部機関に委託しているところもあります。外部機関の場合匿名で扱ってくれたりします。会社で調べてみてください。)。
３）１，２の回答しだいで自分の上司に相談
４）３の回答しだいで可能なら移動願いをだして物理的距離を置く
５）本人に『これ以上近づくと奥様にばらします』と訴える←最終手段

とにかく二人きりにならないように気をつけてください。下手にのらりくらりしていると周りから『まんざらじゃない』と判断されるのが一番危険だと思いますので。
そして会社に味方を増やしておいたほうがいいと思います。
上司となると、断った腹いせにパワハラへ移行する可能性があると思いますので。

私は、以前の会社でそういうお誘いにあったとき、
明るく「いやいやいやいや！○○さん、ダメですよ。
奥さん悲しみますよ～。私はそういう日陰の女みたいなキャラ
絶対無理ですし～。
○○さん、もう！そんなこと言っちゃダメですよ～あははっ～」
とか言って、伸びてきたその汚い手を押し戻してました。
明るくアホっぽく屈託なく、という演出が大事です。

この方法だと意外と相手からは憎まれず退散してもらえますよ。
不倫(陰でコソコソ）とかには向いてない明るい脳天気女と思わせるのです。

ハッキリ言った方がよろしいかと

気持ちは分かりますが、そういう事は困りますと…

行動に気をつけて下さいと

私はそう言いました。

「不倫だけは理解できないし、したくないです」と言えばいいんです。

はっきり断って機嫌を損ねるようなことをすると
仕事に影響が出るんじゃないかとか、考えちゃいますよね。
隣の部署だからその心配は無用ですか？？

逆に不倫関係でいる女性が優遇待遇？受けているのも見たことあります。

すごい嫌ですよね。

直属の上司や上層部に「○○さんからセクハラされて嫌です。注意してください」と掛け合ってみてはいかがでしょうか。
証拠の者があるとなおいいですね。

会社に知られるとなると自分の立場が危うくなるので
相手もヘタに手を出したり、嫌がらせもできなくなります。

頑張って！

何言ってんですか？
素敵な奥さんいますよね？ばらしますよ。
これ録音してますから。

と、他の人に聞こえるように言えばいいんです
冗談っぽくでいいです

その時、顔は笑っていいけど眼だけは笑っちゃ駄目よ。