同僚（男）に振り回されてます

こんにちは。トピを開いていただきありがとうございます。私は25歳女です。今まで、異性を好きになることはなく、お付き合いもしたことがありません。そんな私の中で、気の迷いが出てきました。

私は今年の4月に転職し、新しい職場で隣の席の同僚(同い年の独身男性)の行動が私には不可解で揺さぶられています。
彼はノリがいいのか、ときおり私の背中をつついたり、私が席を外したときに、わざと私の席に座ったり、ちょっかいをかけてきます。また、私が誕生日の日には、2人で食事へ行きました。
他の同僚には同じ態度をとらないので、少しは私に気があるのではないかと思ってしまいます。

しかし、彼は私が転職する前に退職した女性(40代既婚者、夫と高校生の子)と、プライベートで頻繁に2人で会っています。ラインも頻繁にやりとりしているらしいです。
同僚からの話によると、その女性も、彼の隣の席に座っていて、周囲が引いてしまうくらい仲良しだったとのこと。2人で会っているのも同僚みんな知ってます。

私はこのエピソードを聞いて(実際に2人で会ってるのも見かけて)、さみしい気持ちと生理的に受けつけない気持ちが入り交じっています。

2人が会っているのは周知の事実なので、彼らは逆手にとって、やましいことは何もない と言いたいと。私はそう信じています。一方で、やましいことがなくても家庭のある女性が年下の独身男性とプライベートで会うことが受け入れられません。

ここのところ、彼のことでモヤモヤしてしまいます。今なら、引き返せると思っていますが、どうしても気になってしまいます。彼は何を考えているのでしょうか？私は、彼への気持ちを断ち切ったほうがいいでしょうか？

彼は来年、遠隔地への異動が決まっています。私も、仕事を続けていれば彼と同じルートで転勤しますし、既婚女性と離ればなれになります。