好きだった人からの攻撃

以前職場に好きな人がいて、よく話をしていましたが、私の事を裏で同僚や上司に「あいつはありえない（笑）気を持たれて困っているんです」など噂話をしているのを聞いてしまったので、とても傷つき、周りに言い振らされるのも心外で彼のことは諦めました。
その間、連絡先を聞いたり誘ったりなんかしていません。
ただ、話をして彼に近づいていただけです。
表面上すごく親しみを持って話していて、そんなに裏でけなされているなんて知った時は信じられませんでしたが、実際脈はありません。

そして今頃、その彼が私に攻撃をしてきます。
私が仕事でミスしたことをいつまでもネチネチ言ってきたり、小馬鹿にした言葉を言います。
もうあなたの事は好きでもないから離れたいのに、彼がこういう様子で気がすっきりしません。
彼からしたら気のない女が去って行って清々したというところなのに、なぜ攻撃してくるのでしょうか？

彼は他部署で、仕事上直接的には関係ありませんし、席もパーテーションで区切られているので、お互い見えませんので、彼の仕事邪魔をしているわけではありません。
なのに私の席の近くにきて、彼には関係ないこちらの部署の事をしていると私に口出しして来たり、あれが間違っていたやらあなたの性格はどうだの言って去っていきます。
放っておけばいいだろうと思っていましたが、もう５カ月経ちました。
それでも尚、私の周りをうろうろして、皮肉を言います。
私は今別の人とわざと仲よくしています。
それはあなたなんか見てませんよ、こっちはこっちで楽しいです。というメッセージの為です。
それが逆に気に入らないのでしょうか？
しかし、気のない女が誰と仲良くしようが関係ないですよね？
どうにかして「あなたには興味はありません、もう近寄らないで、そして私の事を噂しないで」と伝えるにはどうしたらよいでしょうか？