しつこく見られるのが苦痛です

職場でとなりの男性社員にジロジロ見られるのが苦痛で困っています。
私は30代、事務職で働いています。

となりの人の動きが不自然で、こちらの足元に私物を置き、
一日に何十回もそれを取るたびにこちらを見てじーっとしています。
朝、出社するとまずこちらの全身、特に脚を凝視します。
普通に座っているときもチラチラこちらを向くのをひたすら延々と繰り返し、
すごく挙動不審です。
無言でずーっとこちらを向いて座っていることもあります。
その間、仕事はしていないようです。
もともと、その人には気持ち悪いうわさが前からあったのですが、
至近距離でしつこく見られるのは苦痛で精神的にかなり参りました。
しかし実際に何かされるわけでもないのでどうすることもできず、
困っています。
試しに間にファイルを置いたり、ランチに行くのを何回も何回も断ったりしていると
逆ギレされます。
こんなことで、精神的に疲れてしまうのもばからしいのですが、
何かよい防御案、対策があれば教えてください。
よろしくお願いします。