ストーカーなのかわからないのですが、怖くて困っています…

たぶん有事でないと警察などは動いてくれないと思いますので、こちらに投稿させていただきます。

通り沿いに近所に住んでいるオジサンが怖く、気味が悪いのです。
最初は近所なので顔をあわすのは仕方ないと思っていたのですが、
陽も暮れた暗い路地で、時々こちらのことを確認すると、
わざとゆっくり歩いたり立ち止まったりして、明らかに待っている風なのです。

以前は、何もせずただぼんやり路地の角に立ちくしており、どうしてもその前を通らずには帰れないので通り過ぎようとしたら、
わざと「あああああ」と大きい声を出されたりしました。

今日も、もちろんたまたまかもしれませんが、こちらに気づいたら路上で待っており、いったん家に帰らず離れましたが、また戻って来た際には路上の遠くの方でこちらを見ていました。

ちなみに、同じ時間には帰ってませんので、完全に遭遇はランダムです。
何をされたわけではないですし、偏見だと思うのですが格好も小汚いし（夏も冬も同じ服装）、昼間も働いてないようなオジサンなので、正直気味が悪いです。

何度も待ち伏せ（にあたるのかどうか…）された場合は、止めるように何かしらの形で通告してもらうことはできるのでしょうか？
近所ですから難しいのでしょうか。
また、防犯ブザーを持つ以外に、何か対策のとりようがあるのでしょうか？

似たようなことがあった方がいらしたら、お話お聞かせください。
もう引っ越ししたいです…。