不倫した夫に会いたくありません

相談にのっていただけると助かります。 夫が職場の同僚と不倫をしていました。 相手の女性も既婚者で子持ち、二人とも家庭を壊すつもりはないと、ばれない程度に恋愛を楽しんでいたようです。 体の関係もありました。 私が関係に気付き、不倫相手のご主人と4人で事実確認をし、お互い慰謝料をやり取りして、示談となりました。 その際、職場では業務以外の話はしない、また関係が復活した際には追加の慰謝料を支払う誓約書を交わしました。 不倫相手は自分の家庭に戻り、ご主人もお優しい方で、再構築する方向のようです。 私は夫との関係に悩んでいます。 私たちには、まだ幼い子供たちが２人います。 夫は大学卒業後に結婚し、今回の不倫で別の人生が自分にはあったのかもしれないと、 離婚して自由になりたい気持ちがあると言い出しました。 ならば、しばらく独りになってみればいいと、夫は近くにアパートを借りて、今は別居しています。 夫は私の方が年上で、言うことも正しいから、自分の意見を言うことができなかった。 もっと自分を認めてほしかったと言われ、私も反省する点が大いにあったと思いました。 私にも至らない点があり、夫婦の溝から不倫に至ってしまったのかもしれない。 でも、不倫されたことがどうしても嫌で、夫に会いたくないと思ってしまっています。 本当は子供たちにためにも、再構築していくことが最善だとは思うのですが… 今、夫と別居していて、夫に会わないでいる状態が一番楽なのです。 夫は週末ごとに家に帰ってきたいようですが、私が拒否しています。 夫は１年別居して、その後はまた同居するつもりでいるし、離婚も望んでいません。 私のことも気にかけてくれているようですが、不倫発覚時に強く責め立てたこともあり、もう愛情はないのかもしれません。 ただ、子供のこと、世間体から離婚はしたくないと思っているのかもしれません。