元彼が気持ち悪い

私、30代後半。
10年くらい前につきあっていた社内の男性がいます。
当初、素敵に思えたその彼でしたが、数か月もつきあっていくと、自分より下の立場の人間に対する尊大な態度や礼儀知らずのところ、馴れ馴れしいところなどがどうにもがまんができず別れました。
彼は別れたくなかったようで粘られましたが、なんとか納得してもらって別れた、という感じです。

その後、私は他の男性と結婚、離婚し、今はシングルです。元彼（つきあっていたことも思い出したくありませんが、一応｢元彼｣にしておきます）は、いまだに独身。

最近、その元彼が同じ部署に異動してきました。
同じ部署ですので仕事上、話をすることはしますが、必要以上に親しくはしていません。

でも、仕事中ふと顔をあげるとその彼と視線があったり、私の席の近くの男性に話しかけにきたり、足音をたてて歩いて、私が音に気がついて顔をあげるとやっぱりこっちを見ていたりと、とにもかくにも気持ち悪いのです。

私は何があってもその彼とつきあう気はさらっさらありません。

何かアクションを起こされたら、いろいろ言えますが、何もされていない状況で「気持ち悪いからこっちを見ないで！あなたとつきあう気はありません！」とも言えないし。
どうしたものでしょうか？
それとも私が自意識過剰なのでしょうか？