離婚かやり直すか

主人と離婚するか悩んでます。

子供は小学生が二人います。
結婚前から借金をしていたことは知っていました。結婚後も繰り返し借金をし、高額になってから離婚か清算かとこちらに言ってきました。
さすがに2回目の高額は実家に頼みました。
キレやすい性格で、プライドは高い人なので、無職、借金の間も家事、子育てはほとんどせず、自分のイライラをこちらに向けてきました。
文句を言えば倍以上にかえってきますし、食事を投げつけられたり、あざができるほどの暴力もありました。
そして、捨て台詞で「嫌ならいつでも離婚する」でした。
キレなければ、父親もしますし、時々優しい時もあり、男性は仕事が落ち着けばきっと気持ちも落ち着いてくる、子供もいるしと我慢してきました。
今はギャンブルは少なくなりましたが、生活は私の収入です。主人は自分の経費が多いと言ってあまり家計のほうには入れてくれません。
根本的に金銭感覚が違うようです。一応彼なりに家族のことを考えて何度も転職をしました。40歳を過ぎてますし特に資格もなく、次はなかなかないようです。
我慢しすぎたのか、だんだん私の普段の態度に不満が現れるようになり、それでまた喧嘩。
彼はマイナス思考で、人を見た目や職業でも非難するコメントをするのも苦痛です。
年始に大ゲンカをし、主人が子供にまで離婚をすることを言ってしまいました。説明は自分の仕事がうまくいかないから夫婦中が悪くなったと。
無職でも家族を支える方法はいくらでもあるのに、そのコメント。
子供を巻き込んでしまい、ようやく私も離婚を考えるようになりました。主人に伝えると、今度は主人が拒否。
急に態度が変わって家事や子供に関わってくるようになりました。でも私は主人にまったく信用なく彼がいると笑えません。
子供のことを考えると悩みます。
ご意見いただけますか？