すぐ離婚と思ってしまう

結婚１２年になる働く母です。
子供は３人、まだまだ手のかかる歳です。
夫とはできちゃった婚から始まり、夫の借金発覚からの生活構築、
スタートから曰くつきの結婚です。
それでも、夫婦で働き、その後は借金もなく。
傍からみればそれなりの幸せ家族になれていたと思います。
でも、２年に一度くらい、夫の日々の生活態度（家事を全くせずゲームばかり等）や、結婚当初の辛かった生活なども相まって、私が我慢できなくなってしまい、喧嘩になってしまいます。
そのたびに私は離婚するといい、夫は軽はずみな発言にさらに輪をかけてブチ切れます。
私としては、毎回軽はずみではなく、よく考え、貯金し、仕事も安定させて日々何があってもいいように準備しているつもりですが、
どう考えても、３人連れてシングルマザーになるなど、どういう目に合わせるのかわかっているのか？と逆にののしられて、喧嘩は終了します。
離婚するする詐欺の犯人のように扱われています。

その時は、確かに、と子供の事を思い、押し切られるのですが、（というか大声でののしるので、こちらは反論する余地ないです。）
私のモヤモヤは一向に解決せず、また日常が続きます。
「お前の気持ちなどどうでもいい、子供のことが・・・」
この言葉が突き刺さって、怒り等は収まりまっていますが、悲しい・・
この悲しさは、被害者意識の強すぎからくるものなのか？というのも、
「何でもかんでも被害者みたいな顔するな」とも言われます。
喧嘩が収まれば、子供の前では、夫婦でも楽しげにふるまっていますが、子供が寝つくと言われたことを思い出し、夫とうまく会話できません。

私は両親も似たような夫婦です。
夫両親側も離婚しています。

叱咤激励でいいので、何か言葉をかけてください。