すべてにおいて、だらしない夫との今後について

現在３歳と0歳の子どもがいます。
夫は今まで計二回の借金と、退職し現在は漁師をしています。最初の借金は、結婚２年目で最初の子どもが生まれてすぐに発覚しました。付き合っている頃からのものらしく、複数の消費者金融から計250万。これは、義両親が払ってくれました。その後も金銭感覚はなおらず、ギャンブル、外食、スマホ代(5～8万/月)、コンビニ買い食いが続きます。子どもの児童手当にも手を出してました。ちなみに、当時の夫は会社員で手取り16万でおこづかい月2万渡していました。
二回目の借金は私が二人目の出産で里帰り中に発覚しました。会社のお金を横領しました。当然クビになり、無職に…。その時も義両親が立替えました。もう、離婚するしかないのかと悩みましたが、生まれたばかりの乳飲み子と３歳の子どもを抱え、すぐに離婚へ踏み出す気力がなく、里帰りから戻ってから、夫と話し合って、これからの生活を立て直していこうと話しました。しかし、その後銀行から入金依頼のハガキが届き、悪いとは思いましたが中を確認したところ、里帰りから戻ってすぐに20万も借りていることがわかりました。相変わらスマホも4万円くらい使っていますし、お金もないのに、喫煙は止められず購入する、ネットで菓子ジュースを大量購入したりします。きちんと職安にも通わず、失業から8ヶ月も経過しているのに失業保険も貰えていません。
私が正社員で育休手当てがもらえるので、手当てで細々暮らしてきましたが、限界がありささやかな貯金を切り崩し生活してきました。貯金も底をつきそうですが、二番目の子が保育園に通える月齢になったので、私も最近復職しました。夫は仕事だと言って夜に出ていき帰って来なかったり、毎日忙しくしているわりには、給料もないし、どこで何しているのかはっきりと把握出来ません。頼りにならない夫と離婚し、私が二人を育てて行った方がよいのでしょうか