夫婦としてやっていけるか不安

共働き(年収夫400万・妻(私)250万)
子供1人(4歳)

夫婦別財布です。
1年ほど前までは私が管理して小遣いで月4万(昼食込・飲み会は1回5000円支給)にしていました。
夫がそれに耐えられず、毎月不満を言われることに私も耐えられなくなり恐怖も覚えたので、最低限の家計にかかる生活費を相談して出し合っています。(夫11万・妻6万)
自分の保険、通信費、車費、昼食代は自分負担です。
家事分担は、夫は自分の洗濯物のみ帰宅してからやってもらっています。
残業が多く朝も起きれないので家事育児はそれ以外はできないそうです。休日も疲れていて起きれないそうです。

私としては、生活費を給料日にしっかり渡してくれればいいのですが、何回催促しても生活費を持ってきてくれないことが多く、すごくストレスです。
夫は毎回忘れてた～と笑っていますが、真剣にお願いしたことも何度もあります。

もともと夫は金使いが荒く、お金の話で揉めたときはキレる夫のことが怖くて震えが出たりしたこともありました。
今はもう呆れ？もあるのか、怖いという気持ちは少し落ち着いたつもりですが、一緒にいると息がつまる、顔が見れない、笑えない。といった状態です。

子供が再来年には小学校に上がるので、家を建てる話が出ています。
そこですごく悩んでいます。
家を建てたら後戻りできないよ？的なことを義母に言われました。
確かにこの状態で一生過ごすのか？別財布でやっていける？不安です。
暴力も浮気もありません。モラハラの気はあります。
父親は敬え、尊敬されないとおかしい、俺の金でアパート借りてる、等々

私の言い方や接し方も悪いと思うのですが、もう普通に接することができなくて自分でも辛いです。

客観的に見て、このようなことで離婚する方はいるのでしょうか。
もちろん感じ方はそれぞれですが、読んでいただいて感想など聞かせてほしいです。