お隣のご主人の気になる行動

木造2階建住宅に主人と子供2人で住んで10数年になります。 お隣は中古住宅として売りに出されていた物件を夫婦と義母3人のご家族が購入し、7年程前に越してきました。奥さんと義母は気さくで良い方達なのですが・・・ 隣のご主人が、ほぼ7年もの間、我が家から聞こえる話声を盗み聞きするのが日課のようになっています。 というのもうちのキッチンとリビングの窓から隣まで80cmしかない上に、窓ガラスが一重でペアガラスでもないため、窓を閉めていても小声で話してもまる聞こえなんです。 我が家のキッチンとリビングの窓から1ｍ先の塀に背中をピタッとくっつけて、盗み聞きしているのもよく見ます。土日は半日以上もうちの周りをうろうろしてます・・・ 理由はだいたい想像つきます。 隣の一人息子がうちの次男と同学年のためライバル視していて、うちの動向が気になって仕方ないのです。その上、神経質で人のことが気になる性格の方のようです。（7年観察してきて分かりました） でも、私が外に出るとサッと隠れるので、気が小さい人と思っています。 私と目を合わそうともしませんし、挨拶もしません。 奥さんとは普通に世間話をする仲ですが、ご主人の行動はカドは立つと思い、話ていません。 私は7年もこの状態で我慢してきて、いい加減うんざりしています。うちが引っ越すか、リフォームで音漏れしないようにするしか解決策はないのでしょうか。