離婚すべきか悩んでいます

昨年末に再婚しました。お互いバツイチです。婚前は優しく広い心の人で、娘（6歳）を可愛がってくれました。
彼には結婚前に300万の借金があり、さらには奨学金200万の返済もあります。結婚後、借金返済に月四万、奨学金返済に15000、実家に預けている犬の食費2万、小遣い3万、プラス保険代等で最低11万はかかります。手取りは24万しかありません。私も働いていますが手取りは20万。マンションのローン（もともと私名義で数年前に購入し、娘と2人で住んでいました）、娘の習い事や児童クラブ代、積み立て年金や保険料、生活費等でチャラ。婚前より家計は私が一括して管理する約束でした。しかし主人は各自管理にして生活費だけを入れる、と言うようになりました。話が違うし、家計は渡していませんでした。月10万は貯金しろ、残高をみせろ、通帳とハンコを返せ、警察に盗難届を出す、離婚する等いいだしました。月々の返済以外にも借金返済の為ボーナス百万分を残していました。しかし離婚前に使い込まれては困ると思い、全て移しました。貯金を移した事を知り、激昂し、私のカバンからキャッシュカードをあさろうとします。そして明日中に全額持ってこないと離婚だ、最後のチャンスだぞ、と。私に彼の婚前の借金返済義務はないし、共有財産を勝手に返済に回されては娘と私には一銭も残りません。
娘は小学１になり、新しい姓を漢字で書けるようになったばかり。娘にとっては初めてパパと呼べる存在で純粋に慕っています。しかし先週末、娘の七五三の当日になって急に俺は行かないといい、娘をひどく傷つけました。パパはお休みで元気なのにお家で寝てて、私より大事なことがあるの？と娘が言いました。
娘を悲しませること巻き込むようなことはしたくないです。今後彼の性格が良い方へ変わってくれるような事はないとすると早期離別が良いのか迷っています。