どうしたらいいかわからない（離婚するしかない？）

0歳と1歳の子供を持つ母親です。主人とは授かり婚です。 普段は仲がいい方だとは思っていますが、不機嫌になると、何でもいい、知らないという返答になり話し合いにならず困っています。 というのも、上の子妊娠中（妊娠8ヶ月、結婚後）に主人の風俗通いや援助交際が発覚。その際泣きながら謝罪を受け、2度とやらないことを誓っていたので、再構築を目指しましたが、産前産後のホルモンバランスにやられ、かなりトラウマがプレイバックし、幾度となく主人を罵倒しました。 ただその間主人も掲示板やTwitterで裏アカウントの女に会えないかと話しかけたりと、結局不貞行為未遂をしており、その都度咎めていました。（当時は携帯をみていましたが、今は揉めた末に見ていません。） 結局最終的には、対象者（風俗、掲示板の人）やってない＋会ってないから、もう諦めるしかないと私も吹っ切れ、下の子も生まれ、4人でやっていく決意でした。 最近は小さな家事分担のことなどで喧嘩することは多く、2ヶ月ほど前から「もう無理、2人（子供）のために一緒にいる。話したって解決しないなら話さなくていい。話すのも疲れた、家庭もうまくいってないし、うまく行く未来も想像つかない」といった趣旨のことを言われました。 私はかなり気が強いほうで、主人を苦しめていたのかと反省し、それを相手には伝えましたが、もう遅かったようです。 私自身は育休中でワンオペ育児に疲れているため、できれば円滑に家庭を回していきたい。そして揉めたくない。 なので、せめて2人とも3歳くらいになるまでは、主人共々一緒に過ごして行きたいと思っているのですが、こうなってしまった場合は離婚するしかないのでしょうか。ご助言いただければと思います。