バツイチ子持ち男性との結婚

初めまして。 私：三十代バツイチ子無し 彼：三十代バツイチ子持ち（子供四人、前妻が養育、面会：月一度実家で2泊、養育費：無し） 婚活アプリで出逢い、半年交際していますが私が結婚を希望しており、そろそろ決断をしたいのですがよく分からなくなってしまいましたのでご意見お願いします。 初めて子持ちの方とお付き合いしており、最初は気にならないと思っていましたが、結婚を考えるにつれて不安が出てきました。 養育費は払っていません。離婚時に養育費の取り決めをせずに離婚。前妻が養育費は要らないから早く離婚して欲しいと。離婚前の別居中の生活費としての5万円を離婚後も何年か払っていましたが、最近になり前妻からそれも要らないと申し出あり。理由は不明。 今は面会時の費用と誕生日やクリスマス等のイベントの費用のみかかっています。同棲中の為家計は一緒にしてくれています。 彼の収入は少し不安定ですが良いとは言い切れない事、将来的には独立願望ありです。 今後、結婚したとして、もし養育費を払って欲しいと言われた場合、自分達の生活が不安です。私は子供も欲しいと思っています。 彼自身については、とても良い人です。 前妻の実家はややお金の余裕があるようですが、それでも子供四人の養育は今後、教育費もかかりますし、大変な事かと想像しますが、どうなのでしょうか。 遺産相続についても不安はありますが、それについては一応話し合っており、遺言書の作成と、子供が成人後にきちんと話をしてもらう事になっています。 ここ最近、悩み過ぎて辛くなってきたのでお別れしようと思い、毎週のように別れ話をするのですが、最終的には戻ってしまいます。 嫌いになった訳ではないので、最終段階でNOと言えませんでした。 因みに私は前回結婚してから自身の不妊がわかり、今後子供を授かれるかは分かりません。