元夫のデキ再婚と子供達との面会

はじめまして。はちみつレモンと申します。 不慣れなので上手く伝わらない部分もあるかと思いますが、どうか宜しくお願いします。 私は２年前に二人の子供（年長、年中）を連れて離婚しました。（元夫の女性問題が原因） 全く円満離婚ではなかったものの、二人がパパ好きだったので、元夫から面会の要望があれば私の嫌な気持ちを抑えつつ二人を元夫の所へ送り出していました。 以前、『二人の事がとても大切で子どもは二人以外考えられないから、より戻すなんてできないよね？』と言うような連絡がきたことがあり、離婚原因を作った上に私たちを捨てたくせに何を今更。と可能性は微塵も無いことを伝えました。 そして最近、子ども達に会いたいと言う事で二人を連れて会うと、何となく雰囲気が違う元夫に（新しい人ができたかな？）と感じました。 私個人の意見としては元夫との関係を断ち切りたかったので、新しく相手ができたのなら良い理由になる。と思い、確認をしたところ、『最近結婚して、子供も生まれる。』と言われました。 子どもは二人以外考えられない。なんていってた側からデキちゃった再婚って。 それでも、この状況であれば断ち切れると思っていたところ、元夫は違ったようで、『二人は大切な存在だから、今後も会い続けたい。そのなかで二人が理解できるようになったら子どもができた事を話す。』と言い出しました。 買い物にいけばバッタリ会ったりする距離に住んでいながら、元夫の言う理解できるようになるまで黙ってるなんて、正直いくつになっても理解なんてできないと思ってしまいます。 偶然街中で、赤ちゃんを抱いてるパパを二人が見かけたら？ 今後も会い続けるべきか、断ち切るべきか。 子供達にはいつどのタイミングでどう伝えるべきか。 どうか、皆さんのご意見をお聞かせ下さい。宜しくお願いします。