離婚するべきでしょうか？

結婚3年目、まだ小さい子どもが2人います。 旦那の不倫が発覚しました。離婚をする方向で考えているらしく、本気でその女の人と再婚も考えているそうです。ちなみに相手も既婚者、3人の子持ちです。 育児にはほとんど皆無で子育ては実両親に助けてもらいながらほぼ私1人で行っています。2人目を出産後から産後鬱になってしまい、現在心療内科に通院しています。 旦那は休みの日も好きな時間まで寝て、子どもに起こされるとイライラしたり舌打ちすることも。仕事自体も激務で朝7時ごろから帰りは日付をまたいで帰ってきます。不倫相手とは早く終わった時や夜勤と嘘ついて休日に会っていました。寝不足と疲労で朝眠そうにしている時に、子どもが声をかけると無視したりめんどくさそうに話しています。 そのような旦那なので夫婦で普通に話していても向こうの態度も冷たく、会話にもならないためこちらももういいやという冷たい態度、イライラした態度になってしまっていました。そのような私の態度、家庭に居づらくなって素の自分を出せなくなったのが不倫の原因だと主張します。 今後について話し合いましたが、お互いだめだったところは直そう、子どものために修復していこうという結論になりました。しかし旦那は私が全面的に悪いとしか思っていません。不倫に対しての謝罪もありませんでした。金銭的な余裕もなく、私や子ども達にお金を渡してくれるどころか、自分のことや不倫相手とのデート、ホテル代、プレゼントに使っていました。 不倫相手とは今後も会ったり連絡を取り続けるそうです。会わないで欲しいと言いましたが、それなら離婚と言われました。 子どものためにと思って夫婦関係を修復しようと思っていましたが、その選択が正しいのか、離婚をした方が子ども達のためになるのか、結論が出ない状況です。みなさんのご意見をお聞かせください。 長文読んでくださり、ありがとうございました。