バツイチ子持ちの彼との結婚

バツイチ子持ち（2人）の男性との結婚を考えています。
彼は36歳。私は35歳。
子供は彼の元奥様が引き取られているそうです。
離婚した理由は元奥様の不倫…と聞いています。
（結婚したのは彼が26歳。元奥様が19歳）
離婚をして５年が過ぎるそうです。

元奥様が彼に「慰謝料もいらないから、子供には会わないでほしい」ということで
連絡は取っていないし、今はどうしているかも知らないそうです。
それでも彼は、いつか子供が会いにきたら渡せるように…と子供のために貯金をしています。

彼は子供が大好きで、私にも「早く赤ちゃんを産んでほしい」て言ってくれています。
私も彼とは結婚をして、彼との赤ちゃんを望んでいます。

ですが…どうしても私には子供の存在が気になって仕方がないんです。
彼との赤ちゃんが欲しいけど諦めて「恋人」のままでも良いと思っています。

結婚をしてもいいのか？
今のまま「恋人」のままでいる方がいいのか？迷っています。

私の両親には彼を紹介していますが、まだバツイチの子持ちの話はしていません。
彼は「早く伝えたい」と言ってくれていますが、反対されるのが怖くて。

最終的には自分自身で決めることだとはわかっていますが、
他の人の意見も聞きたくて投稿しました。