バツ2を選ぶべきか、悩んでいます。

私達は再婚同士で、2年前に結婚しました。付き合って5年でした。
私には大学四年の息子があり、他県で一人暮らし、会えば皆んなでご飯を食べたり、それなりに新しい家族を受け入れてくれています。
主人には31歳を筆頭に3人の娘がおり、親子関係が元々あまり良くなく、私は付き合いはありません。主人も関わらせたがらず、接点も持てません。元嫁の浮気で別れた両親の離婚が受け入れがたいうえ、間も無く、私との付き合いが拍車をかけたのだと思います。
長女は既に結婚し昨年、孫も生まれましたが、この2年ほど音信不通で主人は孫の顔も見ていません。二番めも他県で仕事をしており、あまり連絡もありません。
末っ子は昨年大学院を卒業し就職、元々精神的に不安定でお金使いの粗いところがあり、主人は私には言わないのですが、クレジットカードの高額請求に悩まされているようです。
主人は、第二の就職で収入も減っており、娘が家族カードを使って、主人はキャッシングやカードローンを利用し、資金繰りしています。娘を叱リもせず、カード取り上げもしないようです。私が以前、娘さんのお金のことを非難したら、怒り出し離婚だと騒ぎ始めたので、子供のことはタブーになっています。
主人は、普段は、優しくユーモアのある人ですが、金銭面でルーズなところがり、以前からカードローンを複数利用したり、私からお金を借りてバイクを買ったり。人に迷惑は掛けないのですが。私も働いているので、毎月家賃や食費を出しているのですがお金の事で罵しられたり。特に末娘の電話の後は、私に文句を言い(八つ当たり)、関わらないでと無視するのです。
娘達から私への攻撃的な文書等を主人のLINE等で目にすると、私もお嬢さん達に悪意しか感じられず。主人も娘から攻撃されると心が揺れるのだと思います。
もう、私は抜けて、元の家族の関係だけにした方がシンプルで良いのではないかと思うのです。