犬を連れた男性の行動、怖いです。

こんにちは。
対処法などアドバイスをお願いします。

中型犬を飼っており朝夕と一日に２回散歩へ出ます。
引っ越した当初、犬を連れた５０代くらいの男性と散歩中に会ったのですが、毎回会うたびについてきて、
散歩中に出会う他の人のことをあーだこーだとペラペラ話すのです。
この男性は要注意と思い、挨拶だけしてやり過ごすようにしていました。

他の犬連れの皆さんから、この男性は昼夜問わず家の前に犬を連れて立っている、と聞きました。
何人もの人が同じ経験をして、気持ち悪いし警戒心を強めていると。
それを聞いてから、散歩中に後をつけられて家を知られたら怖いので挨拶もしないようにしました。
挨拶をするとついてくるので。

最近、愛犬と散歩へ出かけるところを路上で見られ、やり過ごしたのですが不安になり引き返すと、
うちのマンションの敷地内に入り、郵便受けをチェックしていました。

何をしているのですか？と言うと○○ちゃんとこに遊びに来たと。○○ちゃんはお隣の犬です。
そしてお隣さんのことをペラペラと。

今日も散歩へ出ようとするとエントランスのところへ立っていて、前回同様のことを言うので
言ってしまいました。
あなたは人の家の前をウロウロしていると皆さんから聞いています、と。おかしいでしょ、と。
すると、このババアぶっ殺すぞとブツブツと早口で喋り続けていました。

その場でお隣さんを訪ねて事情を説明すると、ご主人がその男性の相手をしてくれましたが。
お隣さんによると家は知られているけど、遊びに来たことはないそうです。

夫は病気で亡くなり、２０代の頃にストーカーされた怖い経験があるので、
神経質になっているのかもしれませんが、怖いです。

どう対処すれば良いでしょうか、お知恵をお貸し下さい。