昔好きだった人の拒否の仕方

今回の相談内容は、趣味関係で知り合ったA男の行動について私はどうしたらいいのか皆様から意見や同じ経験をした方がある方からお話をお伺いしたいです。
A男とは住まいが近いこと、趣味関連で話が合うこともあり、1年ほど前に私から告白したものの振られています。しかしその後も友人として交流はしておりました。
その後、今の彼氏と付き合うことになり、彼氏ができたことをA男に伝えてからA男が私を避けるようになりました。
彼氏できたから遠慮してくれてるのかな？と思い、友人から避けられる寂しさはあったものの私からSNSで話しかけることも連絡することもしませんでした。(お互いブロックはしておらず投稿などは見れる状態でした。)
しかし、ここ最近私のSNSの投稿全てに反応してきたり私がSNSの投稿に使用している特定の絵文字(あまりポピュラーな絵文字ではないです。)をA男も使いはじめたことで、趣味仲間が私とA男が付き合い始めたのではと噂していることを知りました。
趣味仲間に噂を否定し、現在彼氏がいることを伝えましたがそれ以降名指しはしないものの明らかに私のことと受け取れる悪口をA男が投稿しはじめました。
そんなこともあり、関わりたくも見たくもないのでA男のSNSを全てブロックしましたが、A男からアカウントを変えてなぜ自分をブロックしたのかという連絡がきました。
無視をしていても連絡がずっと来るので恐怖を感じています。
生活圏内が似ていることから偶然会った場合などを考えるとなにかしらのアクションをした方がいいのか悩んでいます。
私から告白して振られているし体の関係もなくそこまで執着される理由も分からず、警察に相談するレベルのストーカー行為もされていないのでどうしたらいいか分からないです。
彼氏に相談したところ一緒に住まないか提案してくれましたが、彼氏の生活圏内も同じなので偶然会う可能性は捨てきれないです。