二世帯同居続行するか否か？

私は３０代前半で、１０歳年上の夫と３歳の娘がいます。 夫婦ともに仕事を持っています。 結婚当初から夫の両親（８０代前半と７０代半ば）と玄関共有・その他別の二世帯に住んでおり、関係は良好でした。 しかし、昨年夫の姉が離婚（姉の不倫・アルコール依存症・金銭問題が原因での離婚です。。）、夫と不仲の兄も近所に越してきたりと、両親世帯に毎週末義理の兄家族や姉が来るようになり、直接の害はないものの話声が聞こえてきて、その中には私達夫婦の悪口（資産を独占するつもり云々）も含まれている為、家でも落ち着く事ができません。 夫に両親との別居の話もしてみましたが、二世帯改築費用もかかっているし両親が資産家の為、遺産相続を有利に（数億単位で違うとのこと）運ぶ為にも同居は続けるべきだと思う、どうしてもとねねが言うなら出ることも検討するけれど。。という回答です。。 今の時点ではまだぎりぎり耐えられますが介護が必要になったりひとり親になった際に、介助自体は人を雇うと思いますが、兄や姉が遺産目当てで両親世帯に入り浸る可能性が高く、それが憂鬱でなりません。 また、この問題を巡っての夫婦喧嘩も多くなってきてしまっています。。 経済的な生活レベルは下がっても平和に暮らしたい気持ちがある一方で、そうは言っても年老いた両親を心配したり、夫が家（資産）を継ぎたい気持ちもわかる部分もあり、、。 もし皆さんが私の立場ならどうしますか？？ 私ならこうする！という人生の先輩からの忌憚ないご意見伺いたいです。 宜しくお願いします。