迷っています。

現在、離婚調停申立中です。でも悩んでます。主人はよく働き、休みの日は子供の面倒も家事もよく手伝ってくれる旦那です。しかし家計は貧乏なのに毎晩のお酒の量が多く、喧嘩した時は脅したり、暴力的になったりします。「この地域に住めなくしてやる」とか「絶対仕返ししてやる」とか言われたり、先日は私のあばら骨が折れていました。でもヒドイ暴力は結婚７年中３回程です。暴力されるのが怖くて私も本音を言えないから３回で済んでいるのかもしれません。二人だけの問題であれば酒と暴力でスグに離婚となるのかもしれませんが、子供がなついています。今私は子供と実家に戻っているのですが、父を失くす子供が可哀想でなりません。私も普通の時の主人は今でも大好きです。アドバイスお願いします。補足：調停にした理由も暴力防止のためです。主人の両親は既に亡くなっていて姉が一人居るだけです。