同居解消後の関わり方

子供1人、20代夫婦です。
結婚当初から義実家のローンの支払いのために（義母はパートのため払えないとの事）先月まで義祖父と義母と完全同居していました。
2階が私達の生活スペース、他に義弟の部屋（一人暮らしの社会人）、納戸があり、将来的なことも考えて2階フロアは使わせて欲しい事を義母に話しましたが、義母は「自分の部屋が欲しい（ある）、クローゼットが欲しい」などいい始め、挙げ句の果てには食卓にあったテレビを自分が買った物だからと自室に持って行ってしまいました。
そこから義母に対して気持ちが変わっていき距離を置き始めました。
その頃に出産で里帰り（実家までは車で２時間）しましたが、お宮参りの話に対して義母の計画ではなかったためか「楽しみにしていたけど楽しみじゃなくなった」など許せない発言があり、距離を置いて生活するために二世帯にしようと考えたため今あるローンを少しでも支払って欲しいと義母に話しましたが、給料明細をみせてきてローンを払ったら何もできなくなる、私の育休手当は自分よりも入るから大丈夫と話してきました。（水道光熱費などは義祖父が支払ってくれてます）
最終的には義母が家を出ると言い始め埒があかなくなり、ここでの生活が苦しくなり実家に避難しましたが、家のことを考えると眠れず体調がおかしくなっため、話し合いをして３人で家を出ることになり今はマンションでの生活を開始しました。
夫は長男で自宅をほかっておくことができないため義実家の隣に家を建てて戻ると言っています。その気持ちは理解してはいますが、そこに家を建てて戻らないといけないものなのでしょうか？あの義母の近くで生活をしたくありません。
その気持ちを夫にもわかってもらえず、今後の事の話をすると喧嘩になります。
何かいいアドバイスがあれば教えていただきたいです。