バツイチ彼の子どもと元妻との関係

現在バツイチの彼とお付き合いしています。
私もバツイチですが子どももなく離婚しました。
前夫とは全く連絡を取っていません。

彼は4年前に離婚し、前妻と子ども（7歳）が同じ市内に住んでいます。
子どもとは今も月に1回程度会っています。
自宅にも子どもを泊まらせたりしているようです。

彼は新婚時代に買った家に今も住んでいますが
未だ過去の家族の余韻が残っているように感じます。
彼は私との結婚の意志を持っていますがもう子どもは作るつもりはないと言います。
年齢的にもそれは仕方ないかなと私も諦めてはいます。

ただ、前妻と子どものことで連絡を取り合う彼に、
私は何か取り残されているような気がして仕方ありません。
同じような経験をした友人がいて彼女は常に自分が彼と元家族に何か取り残されているような
惨めな思いをして結果それが辛くて別れたと言っていました。
また、他の友人は、彼の元妻が離婚後につきあった彼にふられた後、
再び元夫に気持ちが戻り、結果二人は復縁し友人は泣く泣く別れたと言っていました。

彼の元妻や子どもは、まだ結婚していない彼とそれなりの距離を保ちながら関係性を持っているようです。
そこに私が現れることで何か目に見えない絆をぶち壊しみんなを傷つけてしまうと思うととても切なく、
このまま彼と結婚に向けて付き合いを続けることが辛くなってきました。

それほどまでに子どもが可愛いのになぜ離婚したのでしょうか。
子どもを作らず離婚した私には理解できません。
彼も離婚したとは言え、また元の家族に戻ってしまうのではないかと思うと不安で仕方ありません。

同じような経験をされた方、また男性の方で子どもや前妻とそれなりによい関係を続けながらも
再婚を考えている方、ご意見下さい。