元夫が近くに引っ越してきました

6年前に離婚して、亡き祖父の家を建て直して実母と7歳の子供と3人で住んでいます。 元夫と義両親と子供は月1で面会しており、時に義両親の家に泊まったりもしています。 元夫は2年前に再婚していてすでに子供が2人生まれていて最近の面会には 今の奥さんと子供も同席しているようです。 今までは、同じ市内の車で30分程離れた所に住んでいたのに、数日前同じ町内のうちから徒歩1分もかからない場所の建売を買って引っ越してきました。 元夫も奥さんも義両親も、私の家を知っています。 なのに、何故こんな近くで家を買ったのか理解に苦しみます。 元夫には、私も家族（実母と弟妹）も散々嫌な目に遭わされました。 離婚も弁護士入れても調停で収まらず裁判まで行きました。 子供のことがなければ一生関わり合いになりたくない人なのですが、こんなに近くに来られては今後の面会の事も考えると本当に憂鬱になります。 が、引っ越せとは言えないでしょうし、こちらも建て直ししたばかりの家なので引っ越すのも難しく・・・。 同じような状況の方いらっしゃいますか？ または、こんな場合の気の持ちようなどアドバイス頂けないでしょうか。 よろしくお願い致します。