夫がW不倫して別居中です。離婚するべきか迷っています。

夫32歳、私30歳、3歳の長男がいます。 主人とは職場恋愛で結婚して6年 3か月前に夫の不倫が発覚。相手は同じ職場の28歳の2歳の子供がいる既婚者 Ｗ不倫です。私も同じ会社に働いております。 不倫がすぐに会社にも発覚し（相手の女が仕事中に泣いて上司に事情を聞かれ、素直に全部はなしたそうです。）、主人は1か月前に会社を辞めさせられました。相手の女は辞めずに今も働いています。 不倫が発覚した直後はお互いの両親の説得もあり、もう一度やり直すと一度はなりましたが、その一ヶ月後不倫が継続していることがわかり、主人が実家に戻る形で1か月ほど別居をしておりました。 「彼女を思う気持ちはそう簡単には消えない、でも家族のほうを向く努力をするからもう一度やり直したい」という夫の言葉を信じ修復をはかりましたが、不倫相手と切れず、 「家に戻ってきたのは子供と一緒にいたいだけで、お前とはやり直すつもりはない。お前への愛情は一切ない。女としても見れない」とはっきり言われました。 2か月壮絶な修羅場が何度もありました、 それなのに家は出ていきたくない、子供と離れたくない、家族で平穏な生活をしながら彼女との関係も続けたいとわけのわからないことを言い、家お出ていかない夫。 私は仕事があり子供の保育園のこともあるので、家を出ていくことが出来ません。離婚に向けて進むにも、子供の平穏な生活のため二人で心休まる場所で生活をスタートさせてほしいとこちらからお願いする形で、旦那は出ていきまた別居生活がスタートしました。 相手の女性も現在子供と実家に帰り別居しているそうです。主人と一緒になるつもりだそうです。 主人の主張は不倫前から夫婦としては冷めており、今回の不倫が離婚の原因ではないと言っています。 もう離婚しかないのでしょうか？離婚を決断できる心境にはまだなっていません。