近所トラブルに主人が出るのは？

新興住宅に住んでいますが、隣の方が夜の10時半以降に毎日必ずベランダや玄関先で用事をされています。 隣の家は我が家より奥まったところにあるので、ちょうど我が家の側面に玄関とベランダが面しているので音が直接響きます。 扉の開閉音がドタンバタンと特にひどく、ごみ処理等の音でほぼ毎日目が覚めます。 夜中や早朝もあります。 こういった事は半年前ぐらい前からです。 睡眠不足と音に対するストレスから最近は体調を崩しています。 以前に一度私からやんわりと話をしたことはあります。 その時は特に何もなく終わっていましたが、 またこの半年続いている事で主人が隣の方に話をしに行くと言い出しています。 私とお隣はうまく行っておらず、一年ほど前から避けられ、ご近所の仲良しさんみんな私を避け無視する方もいて、私や子供の悪い噂を流しているのを耳にしました。私にはどういう事？っていう内容ですが・・・ 突然のことで原因は自分では解りませんが、知らず知らずに迷惑を掛けてしまっていたのかとも思っています。 以前は世間話程度で、子供もお互い居るのでたまに遊ばせたりの付き合いでした。 今は挨拶はしていますが、正直納得いかない部分もあるのでぎこちないです・・・ そんな状況もあり主人が夜中の音に対して話をすると言っていますが、 私はすごく複雑なんです。 主人は自分も夜中に目が覚める時があるし、言ってもわからない人でもこのままじゃずっとこんな生活になるから強めに出たほうが良いと言います。 しかし私は主人が出て行く事で、さらにご近所で噂され、これからずっと住まなくてはならないのに余計に居心地が悪くなるんじゃないか・・・ 事が大きくなるんじゃないか・・・等の不安があります。 このまま主人が話をしてもいいのでしょうか？ 皆さんのご意見宜しくお願いします。