どうすればいいのか悩んでいます

夫が既婚者の女性と不倫しています。不倫発覚しても夫は私との仲が悪いからこうなったと反省するそぶりもありませんでした。毎日けんかの日々が続き、毎日こんな両親の姿を子供に見せているのはどうかと思い、結局別居することになりました。
私は夫は相手とは別れたと言ってるし、別居をして少し冷静になればお互いもっと仲良くなれるのかな、なんて思っていました。

しかし夫は相手とは別れると言っていたのにもかかわらず、今でも不倫を続けています。今は夫が別居したので相手の女性も好きな時に会えて二人で喜んでいます。最近私が夫に「どうして不倫が発覚したときに別れたといったのにまだ続けているのか。」と聞いたところ、夫は「今は俺たち夫婦の仲も最悪で、今はとにかく彼女が好きだし、どうせ不倫なんて長くは続かないから、その時はどうせそっちに戻るのだから、そしたらあなたが今までのことをすべて水に流せばまた仲良くなれるだろう。」
と言っています。それは今の不倫のほとぼりが冷めるまで黙って私に待っていろ、といっているようなものですが、実際私はそんなに心の広い人間ではありません。
でも子供がまだ小さいので今はすぐには離婚もできません。

毎日夫が不倫に走った原因は自分にあったのだ、と自分を責めるとともに、私にばれても平然と不倫している二人に悔しくてしょうがない気持ち、夫に見捨てられた子供たちへの申し訳なさ、そして子供のためにも金銭的にもすぐ離婚できない自分への情けなさ、毎日が辛くてしょうがないです。
どうすれば今のこの状態から抜け出せるのでしょうか？