婚家には行き来したほうがいいでしょうか？

専業主婦をしています。 ついこないだ夫婦関係が破滅する程の大喧嘩をしました。家計の事で喧嘩になり普段なら絶対に傷つけるような言葉は投げかけないのですが、夫の口から本性が出て内容は「俺の家は貧乏だからよ！嫁側の親が金持ってれば金づるになるし、お前の実家はどの位の土地とお金を持ってるのか？教えろ！俺は損はしたくないからな！」と暴言を吐きました。 私は「私の実家を大事とかではなくお金目当ての下心で行ってたならもう行かなくていいです！」と言い返しました。夫はお金の使い方が荒いため生活費が足りなくなり、時々数万単位で自分の実家に借りては返しの繰り返しでした。 その言葉を聞いてから離婚という言葉が浮かび、しばらく自分で仕事をしてある程度貯蓄してから家を出ようと考えています。夫の両親には出しゃばり、恩着せがしい事かれたり嫌みを言われたりで色々と疲れていたので、夫と関係が崩れた今、行くのは止めようかと考えています。表面上義理実家（車で５分）には行き来した方がいいと思いますか？