何かと絡んでくる上司が気持ち悪い

私の勘違いだといいのですが。

ある上司（ですが職務上はつながりがない）がどうも私に気があるのか、やたら絡んでくるようになりました。
向こうは社内では一応ピンの立場にあり、私はキリのパートにすぎません。
ほとんど接点はなかったのですがある出来事があってから何かと目につくところにいるようになりました。
部屋が違うのに、度々、しょうもない内容で来たり(私の上司のところに、ですが）
パートさんだけの新年会に顔出したり、
帰り際(夜遅い時間帯）、私ともう一人がいるだけとわかっている私たちの事務室に顔を出していく、この間なんかお客さん相手に仕事している最中にその部屋に乱入してくるし…

今までその役職にあった人は全くそんなことはありませんでした。
それどころか半年に2，3回廊下ですれ違うくらいの頻度しか会ったことがないくらいです。
私の用があってその上司のいる部屋に行くとずっと目で追ってくるのがわかります。
この間は私が一人で食事をしている(私だけ、その時間帯に仕事することがある）部屋に用もないのに入ってきたり。
「ああ、ごめんごめん」と言いながら、でも何もせずに出ていきました…。
食事とかならともかく、用事もないのに？何しにきたんだろう…？
まさか次は弁当持ってきて一緒に食べるとかないよね？…

この頃は会わないで済むように、社内で歩くコースを変えています(苦笑）
でも、なんだかんだと向こうから来るんです！！

私は既婚だし(向こうも知っている）私も上司もいい年なんです。
本当に気持ち悪い。

もし何かあった時のためにしておくことはあるでしょうか。
ただレコーダーは持てません、職務上…。

その上司は「気さくな話の分かる人」と皆から見られていると思います。
それだけに慎重にならなければいけないなと思っています。