子供と一緒にいたい・・・

はじめまして、３０代後半のさおりです。 よろしくお願いします。 付き合って１年の同年代の彼の事でご相談です。 彼は×１（離婚して４年）、別れた奥さんのところに２人のお子さんがいます。養育費は払っており、不定期に面会もしています。 最近、子供達の都合で面会が思うようにならないらしく・・・ 一緒に暮らしたい気持ちが大きくなったようです。 離婚原因は性格の不一致、彼が我慢して元奥さんの要求をのめば、復縁の可能性はあると思います。 彼は、この気持ちを私にだけしか話していないようです。 再来週の面会時に話しをしようか悩んでいます。 私は、親の都合で復縁しても、仮にケンカや冷めた関係が続くようだと 前との繰り返しになるし、子供が傷つくのではないかと思います。 子供達の住んでる街と彼の職場は同じなので、近くに住んで見守るのはどうかと提案しました。 子供達を受け入れる覚悟はお付き合い前に話し合っているので出来ています。 近くに引っ越して、いつでも自由に家に遊びに来れるようにしらたどうかと思うのです。 私のエゴでしょうか？ みなさんのご意見をいただければと思います。