職場の男性からの視線に困っています

28歳会社員です。
最近、同じ課の年齢が父親ほどの男性について悩んでいます。
一見優しく、いつも笑顔で接してくれる方なのですが、言動が普通じゃないんです。
見た目はヲタク風で、デスクには自分で作ったアニメキャラのカレンダーを置いているようなちょっと変わった人です。
私が入社してからずっと、お菓子等をよく私だけに買ってきてくれたりします。おそらくかわいがってくれているんだろうと思い、その過剰な好意を受けとめていましたが、年数が経つにつれ、その人から感じる視線がとても恐ろしくなってきているのです。
今では誰かが私の隣に来て話ている時は必ずこっちをじっと見て話を聞こうとしています。それは話しに来る人もみんな気づいているので私の勘違いではないと思います。
誰もいない時でも、結構な時間こっちを見ています。しかし、それだけで話しかけてもこず、一体何がしたいのかわかりません。
今日も残業をしていたらまだ帰らないのかと聞かれ、それから何をするでもなくずっとこっちを見ながら私が終わるのを待っている様子でした。それを見ていた先輩男性にもストーカーっぽくて怖いと言われました。
また、先日も同期と話していたところをじっと見ていて、徐々にこちらに近づいてきたかと思うと、プリンターを使うふりをして、聞き耳を立てています。それを見ていた同期からも軽いストーカーだと言われました。
ただ、業務上は良くしてくれますしいわゆるセクハラ等の決定的な事をされている訳でもありません。
ただ見てくるその行為がとても気持ち悪くて耐えられないのです。
文章にするとうまく伝えられず、勘違いか自意識過剰だと思われるでしょうが、周囲も気づいており、扱いに困っている感じです。
こういう人って居ますか？
もし同じような経験がある方はどう対処したか教えて下さい。
席替えや異動を頼む他にうまく回避できる方法はあるでしょうか？