ご近所のだんなさん

ご近所のだんなさん（30代子持ち）に勘違いされたのか出かける時に視線を感じます。その家のだんなさんの車を置く位置がうちの方に向いていて、その辺にいたりするので私も出かける時につい、見てしまっていたのですが。（深い意味はないです）
大雨が降っている夜も外でその位置でたばこを吸っていたのが見えたのですが、車で出かけるかもしれないと思って違う通路から行きました。けど、よく考えると息子の塾の送り迎え（週２）で玄関から出ると必ずこっちを見ているのです。もう1か月ぐらいそんな感じです。
最初は偶然かと思ってました。私はその家の人と話をしたことがなく、奥さんもどんな人かはっきり知りません。

先日だんなと散歩に出かけるときに二階の窓からこっちをずっと見ていました。気持ち悪く無視をしましたが。
みなさんはこんな時どうしますか？