木造住宅の音漏れ

予算の問題で木造住宅を建てました。
隣人との距離3m
こちらは後から建てました。
隣接窓はあけてませんが隣が毎日隣接窓を換気目的であけるみたいで、こちらは木造なので音漏れがします。
そしてこちらの音がしたら毎日開ける閉めるを1日に何回何回も繰り返しされます。
閉めるのはしかたないのですが大きな音で閉める為正直うるさいです。
でもこちらからの音漏れもある為言いません。
普通の生活してるだけなのに毎日モヤモヤします。
謝りはいれました。
お互い様と言われましたが毎日何回もされるとしんどいです。
換気扇をまわす、物をおとす、掃除機をかける、子供が泣くなどすべてに反応されます。
こちらも窓あけたら隣の子供の声、なきごえ、会話など聞こえるのになと思いながら毎日を過ごしてます。
どう気持ちの切り替えをしたらいいでしょうか？