距離感バグおじさん

職場の納品口にいる距離感バグおじさんについてです。
このおじさんと私は業務での関わりは一切なく、エレベーターで乗り合わせた時に挨拶する程度でした。
ある日突然、「お姉さんに会えると元気が出るんです」と言われました。
その時は「あー…ありがとうございます」と苦笑気味に返しましたが、
それ以降会うたびに「お姉さん何歳ですか？名前は？」など、
いろいろ聞いてくるようになり、
「俺は50代で、シングルファザーだから平日しか仕事できないんで、いつもこの時間しかいないんです」と私が聞いてもないことをベラベラと喋り出してきたり、
夏場にエレベーターで乗り合わせた時も「今日暑いですね」と言われたので「そうですね」と返答したら
おじさんが手で扇いできて、「涼しいですか？」と言われ気持ち悪すぎて「暑くないので大丈夫です、やめてください」と思わず言ってしまいました。
また別日には、急に私を引き留めてきて、
「今度旅行に行くので、お土産買ってきますから」と言われ、たいして喋ったこともないのにお土産…？と思いましたが、その日は急いでいたこともあって会釈だけして会話を終了させてしまいました。ちゃんと断っておけばよかったです。
後日本当にお土産を渡されましたが、「結構です」と伝えても「約束したので！」と渡され、怖いのですぐ捨てました。
好意とかそういうのじゃないにしても、この人ちょっとおかしいなと思ったので、
なるべく関わらないよう、いることに気付いてないフリをしたり、挨拶されても冷たくしているのですが、
用もないのに私の部署に来て（普段は来ない）誰に話しかけることもなくいなくなるので、私に話しかけるタイミングを見ているように思えて凄く怖いです。
無視をして嫌がらせをされたらと思うと挨拶だけは返してしまいます。
私の考えすぎでしょうか。皆さんならどうしますか？
長文で読みづらかったらすみません。