離婚していいのか迷っている

結婚4年29妻、36夫。3歳娘が1人。時短勤務で育児はワンオペ。昨日はもう決めたと思ったのに、今日はこのままでいいのかもと揺れています。
ここ3ヶ月家事には協力してくれるようになったけれど、話し合いの中で夫が暴言?(面倒くさい女、こんな女と思わなかった等)言葉の端々に傷つくことが多く、安心できない瞬間があります。子供がその場に居ても起こり得ます。過去には自分の両親を否定する内容や、育児がうまくいかずイライラしている私に母親なんだからしっかりしろ、と言われたりしました。
育休中は、喧嘩の中で夫を叩いたことがあります。その時は仕返しに立ってる私を後ろにノールックで倒しました。3日鞭打ちでした。明らかに力の差があるのにあり得ない！と思っていた私ですが、夫曰く先に手を出したのは私なので私が謝罪、次第に私もそれが正？と思うように。
朝4時ごろ目が覚めてしまった2歳がイヤイヤを発動し、良い加減してくれー！と私が大きな声を出してしまったときは背中を蹴られました。暴力ぽいのはその2回です。
それ以降同じようなことはないですが、きっかけがないから、だと思ってます。
それでも話すタイミングはあり、3ヶ月に一回くらいはその時が来ます。休日車で出かけると、運転中乱暴な物言いをしたり、クラクション鳴らしてくる車を威嚇したりがあり、やはり離れるべきか？と。
離婚に自信が持てないのは、娘がパパ見て〜と嬉しそうにしている姿を見ると、やっぱりみんな一緒がいいのかな、と迷ってしまいます。
それに結婚生活って皆何かしら抱えていて、それに耐性がない私が我慢弱いかも、と思います。
四六時中イヤな夫ではないです。
皿洗いはします、買い物も行きます。ありがとうや可愛い、好きみたいなこともたくさん言ってくれます。
私は、何を一番大事にして決めたらいいんだろう。同じように悩んだ方は、どうやって自分の答えを見つけましたか？