悩みすぎて心が壊れそうです。

結婚次で2年目私初婚、妻バツイチ子持ち(小学生低学年)なのですが、出会ったのは4年前の夜の街、私の一目惚れでアタックし、半同棲みたいな感じで過ごしていました。子供も懐いてくれており2年の半同棲を経て結婚。今は一軒家も購入いたしました。
結婚する前の話になるのですが、妻は私と半同棲する前からもう1人別な男性が居て、私は妻に「子供が可哀想だからその人と一緒にいるなら私は引く」と言い妻はその人との関係を断ち私と居る事を選んでくれました。私も過ちを犯してしまい、本当に何もなかったのですが、マッチングアプリに登録してしまい暇つぶしに使用してしまいました。妻にはそれがバレて喧嘩になり、2度としないと誓いました。その時に結婚の話になり、私は自分のこと子供も欲しいとちゃんと伝え、妻も私との子供も欲しいと言っていたので結婚しようと思い結婚しました。

後に妻の不倫が発覚し問い詰めた結果、連絡を取らないと約束。相手にも連絡先取れないと送らせたのですが、半年も経たない間に同じ相手と不倫。もう離婚しようとも考えたのですが、私は妻のことを愛しており、一緒にいたいと思い、次したら離婚と誓約書を書きました。
その時の話し合いの際、妻は子供が欲しいとは思わない。と言われ、すぐに欲しいのは欲しいのですが、すぐに欲しいとは思わない、夜の仕事を辞めてその時欲しいと思ってもらえるよに頑張る。と言いましたが、1人になり考えていると、不倫され子供もいらないと言われて、私も今年30歳になり妻も29歳で少し焦りも出てきており、不倫されたばかりで信用もまだ回復していない状態での考えなので離婚した方が良いのではないのか？と思ってしまいます。もちろん家族でいると楽しいですし、妻も連れ子も愛しています。ですが自分のリミット等を考えるとこのまま様子見ても良いのかと、一軒家も買ったのに離婚してしまってもいいのかと悩んでいます。