偶然とは思えない！清掃員のおじいさんの行動

はじめまして、40半ばのパート主婦です。 実は、私の住む小規模マンションの清掃をしている70歳ぐらいの男性から偶然を装い側に来られるなど付きまとわれるようになり子どもともども気持ち悪く恐怖を感じるようになり困っています。 ここ半年前に新たに週5で来るようになった清掃員の方で、初めてお会いした際に挨拶した程度ですがそれ以後、朝ゴミ出しをしようとエレベーターに乗ろうとすると、一緒にエレベーターに乗り込んできたり、突然廊下掃除をやめ階段を使い一緒にゴミ集積所まで付いてきたりマンション内で会うたびに近くに来る感じです。子どもが登校する時刻の前後20分以上を私の自宅フロア前の廊下掃除をしているため、子どもが家を出る際にドアを開けると必ず目の前におじいさんがいます。 怖すぎで子どもも気持ち悪がっています。 こちらも朝のゴミ出しを止め夜に出したり、パートに出る際に会わないように階段使ったりして避けて行動するようになりました。相手方も避けているのは分かっているはずですが、それでも、毎朝子どもが登校する時間帯にうちの自宅前の廊下の掃き掃除をしています。子どももダッシュで避けているようです。偶然に会った時の視線ももう今まで清掃員をしていたおじいさんのそれとは違います 今までの清掃員の方は、登校や出勤する時間帯にわざわざ自宅前にいたりしたことが無い（敢えて会わないよう避けて廊下掃除をしてくれていた）し近くに寄ってきたりすることもなかったため異常に感じます。 私の父親世代からまさかそういった好意（避けているのに向こうはお構いなしに目の前や近くに来るなどの行動）を向けられているのも気持ち悪く恐怖です。 小規模マンションのため、余計に感じます。夫に相談しましたが、全然理解できないようでたまたま偶然じゃない？というかんじです。批判ではなく、どう対応したら良いでしょうか？何か対策はありますでしょうか。