主人との将来が見えません

はじめまして、30代の桜と申します。
家族は夫と子ども（3才）の三人暮らしです。
結婚して約4年、もう限界で離婚しようか悩んでいます。

主人は派遣切りで去年から無職で就活しないため私が働き主人が主夫をしています。
やはり男は働くものだとお互い根底で思っているようで今の生活が苦痛になっています。主人は働いていないことがストレスで毎日卑下して生きていると私に訴えてきます。そんな話を聞いているとイライラし愚痴ってる暇があれば行動しろと思い、まともに会話が成り立ちません。就職難で厳しい世の中ですがバイトひとつせず毎月決まった額を渡していますが何かにつけてタバコ代（＝五千円以上でそれ以下を渡すと馬鹿にしていると言われ機嫌が悪くなる）を要求し渡さないと怒り、壁を叩いたり乱暴になります。

それぞれお互いの言い分をまともに聞く余裕もありません。私は不快でたまりません。

主人の言い分（妻の以下の行動が許せない）
・働いていない自分を妻が馬鹿にしていると感じている
・妻から生活費をもらうのが苦痛
・自分の意見に従わない

私の言い分（夫の以下の行動が許せない）
・いつまでも働こうとしてくれない
・生活費などをパチンコに使う（今月も食費を全て浪費）

今日堪忍袋の緒が切れ役所に離婚届を取りに行きました。今まで私から10回ほど離婚の話を切り出していますが離婚届を持ち出したのは初めてです。主人は子どもと離れたくない、自分の行く場所がないという理由で離婚届にサインしません。
夕食後も気分が優れないから散歩してくる、といつもの逃避。
以前はどんな状況の主人でも支えていこうと感じていたし、主人は鬱病かもしれないから仕方ない言い聞かせてきました。結婚を続けても離婚しても苦労は目にみえていますがもう限界です。アドバイスお願いします。