近所からの誤解

戸建てを購入し、夫婦と0歳の子供と暮らしています。近所の子供は小中学生ばかりです。住宅街の奥なので我が家の前の道路はよく子供達が遊んでいます。 詳細は伏せますが、私が近隣の家を覗いていると思われているような立ち話が聞こえてきました。私自身そんなつもりはなく、確信できるほどはっきりとは聞こえませんでしたが、新たな誤解をうまないように夫がいない平日は隣家に面したシャッターは開けないようにしています。 ところが先日夕方郵便物を取りに出て家に戻ったところ、外で遊んでいる子供が「A(おそらく隣の子)たちが帰ってきたら出てきた〜」と言っている聞こえました。 また別の日は子供を抱いて立って揺れながらTVを見ていたところ「またAのこと見てる！」「どこどこ？(我が家の窓の方を見てジャンプ)本当だ！」と。声が聞こえてまた自分のことかと窓の方を見てしまいましたが、網戸とは言えミラーカーテンのため外からは見えなかったはずです。 近隣のお子さんは顔も知りません…道路側もシャッターを閉め切った方がいいのでしょうか。子供たちがおもしろがっているのか、ちょっとした行動で監視してる！と言われるようです。町内会のイベントもなく、子供の年代も違うため話すようなチャンスがありません。外からの話し声が全部自分のことかと思い、せっかくのマイホームなのに不安になってしまいます。私のせいで家族が嫌な思いをするのではないかと申し訳ないです。 付かず離れずの関係でいたいのですが、もう無理なのでしょうか。私はどうしたらいいのでしょうか。