覗いてるのか覗かれてるのか

裏の家の方（老夫婦）との事です。
我が家があり、我が家の庭が５メートル程あり、裏の家の方の家があります。
間に庭があるとはいえ、我が家のリビングと裏の家のトイレが面しています。

気付いたのは数年前なんですが、どこからか口笛がするな～と思っていたら
裏の家のご主人がトイレに入る際に上機嫌で吹いているようです。
口笛だけなら夏場の網戸の時以外、それ程気にならないしと思っていたのですが
どうやら癖でトイレに入った際に必ず我が家のリビングをチラッと見ます。
段々の窓があって中にカーテンがあるのですが、めくって見てます。

昼間は気が付きにくいですが、夜は暗い中に灯りがともるので
入ったのがすぐに分かります。
「また見るだろうなぁ」と思いつつ、気が付けば私は必ずチェックしています。

この場合、裏の方が覗いてるんだと思います？
私が相手が覗くのを覗いてるんだと思います？
カーテンは一応しているんですが、子供が暴れて壊してしまって端から見えるんです。
買い替えようにも高いので直ぐには無理と言いつつ数年経ってしまいました。

単に私が気にし過ぎなんでしょうか？
住んでる所は、そこそこ田舎です。