旦那の借金が発覚しました！離婚？再構築？

先日、旦那が5年前から消費者金融から借金していることが発覚しました。
金額は80万です。
何に使ったのかを聞くと、借金が発覚した時は投資と言っていましたが離婚したくない為の嘘でした。
本当は単身赴任先での職場の仲間との飲み代などに使ったと…。
実際、一緒に生活していないし見てもいないのでこの話も本当か嘘かわかりませんが。
女や風俗遊びに使ったのかもしれませんよね。


俺は離婚する気はない、単身赴任先で本業の他にバイトをして3年後に完済する予定。家庭のやり繰りは今まで通りお前に任せる。この借金は俺の問題で一人でどうにかするから。と言います。
バイトが出来ない月は、借りて返済してしまうけど。と。

再婚当初も借金があって私のパート代も全額返済に充てて完済して、もう二度と借金はしないと約束していました。
何年間も旦那に裏切られてショックです。
バレなければ何をしても良いとの考えでした。
旦那が話す内容全て嘘をついているように思えて信用できません。
また借金されるかもと思っています。

マイホーム建てたばかりです。(なぜ消費者金融から借り入れがあるのに住宅ローンが通ったのか謎です。)
子供は高校生・中学生・園児です。
今、私は仕事をしていません。
私の両親は他界しており、身内は遠方に住んでおり頼れません。
ちなみに旦那の父親は事業に失敗して自ら…で他界、義母は自己破産しています。
義母は過去に消費者金融からの借り入れをしていた事があると旦那から結婚後に聞きました。
私から見ると借金へのハードルが低い家系？です。
離婚した方がいいのか？子供の為に我慢して生活した方がいいのか？
普通に接してくる旦那にイライラして、家族で食事中に子供の前で旦那に暴言を吐いてしまいました。
自分の気持ちをコントロールする方法、平常心を保つ方法、何でも良いのでアドバイスお願いします。