義理の家族に聞こえる生活音

結婚した時、夫の実家の車庫の二階が空いていたのでそこをリフォームして部屋を作って住んだらと言われ、深く考えずに了承しました。 二階には、ダイニングとリビング、お風呂などを作り、離れの二階とを渡り廊下で繋いで、離れの二部屋を寝室と子供部屋にリフォームしました。離れの下には義祖母がいます。 実際に住んでみてわかったのですが、元々車庫なので、床が薄く私たちの生活音などが下に丸聞こえでした。下には義理の家族の洗濯機があったり、車が置いてあるのもあって、義理の家族の誰かはいるという事が多いです。 どの部屋に居ても下に誰かいて、しかも上に居るとわからないというのも常に気にせねばならない原因だと思います。 また、夫の妹がうちの子供と同い年の子を連れて、毎週末、二泊三日位で義理の実家に泊まります。全て別なので私たちが何かする事はないのですが、車で出かける時の楽しそうな声が聞こえたり、車の開閉音が響いたり、居るというだけでのストレスが澱のように溜まってきました。 子供がいるので、見てもらえるのは助かりますし嫌味のない良い人達ですが、最近はここを出たいという気持ちしかなく、そうするには離婚しかないとまで思いつめてきました。ローンがまだある為簡単には出られないからです。 このままローン完済まで（1500万円・25年ローン）我慢するか、金銭的に苦しくなっても出て暮らすべきか正直どうすればいいのかもわかりません。 ご意見お願いします。