シングルマザーと初婚男性の結婚　どう思いますか？

３０代半ば小学生２人の男の子を持つシングルマザーです。
離婚して５年、離婚後に初めてできた彼についての相談です。
彼は４歳年下（結婚歴なし）でお付き合いして１年になります。

彼とは友人の紹介という形で出会いました。
会う前に、私がシングルマザーで子供がいる事は伝えていました。
何度かお茶に行ってから、彼からアプローチがありました。

彼に交際を申し込まれた時に、子供がいる以上　中途半端なお付き合いはできないという事、シングルマザーの私と付き合うという事は、それなりの覚悟がいるという事・・・よく考えてそれでも気持ちが変わらないならお付き合いします。と話しました。
私としては、このままお茶友達ならそれでいいと思っていました。

そして、２ヶ月後　彼からもう一度交際を申し込まれてお付き合いが始まりました。
でも、お付き合いが始まってからも　まだ迷っているようで　それが原因で別れ話が出た事もありました。

今は将来の明確な約束はできないけど、ずっと一緒にいたい・・・
今すぐには無理だけど一緒になれるように前向きに考える・・・
付き合いが進んでいく中で徐々に気持ちも固まっていくんじゃないのと。

彼の考えは、下の子が小学校を卒業する３年後に引っ越して一緒に住み始めて入籍と考えているようです。

でも本当にそれでいいのか迷っています。
３年後、私は３０代後半　彼との子供は正直厳しいのではないかと思います。
高齢出産のリスクや体力的にも不安があります。
今いる子供達が思春期真っただ中での結婚　妊娠　出産はどうなのか・・・との思いもあります。

いっその事子供が成人してからとの気持ちもあります。
将来が考えられないのなら別れるという選択もあります。
なかなか考えがまとまりません。

同じような経験をされた方アドバイスお願いします。