バツイチ子持ちの彼氏について

付き合って11ヶ月になる彼氏がいます。
(彼29歳 私24歳)
先日、バツイチで子供が1人(小4)いると告げられました。

結婚したのが19で離婚したのが20
高校卒業後、就職で地方から出てきて妊娠がわかって2人で頑張ろうねと子供を産んだのですが
元妻がホームシック？ぽくなり地方から出てきた為まわりに友達もいないしで実家に帰りたいだの言い出して離婚したらしいです。
その際彼なりに何度も話し合い、止めたようですが最終的には心が折れたらしいです。
(あの頃の元妻の実家に帰りたい発言を若気の至りとも言っています。)


元妻の勝手な都合もあり養育費はいらないと言われ、払ってないとの事。
3年前までは子供とも会っていましたが、元妻が再婚を機に会うのをやめたのですが元妻がまた離婚したらしいです。

彼は子供にはもう会わないと言っています。
子供に罪はないけど会ってほしくない、でも会わないという彼を無責任だと感じる自分もいます。矛盾しているのもわかってます。


もしこの先彼と結婚したら、遺産相続の事や元妻にもしも何かあったら子供を引き取る事とか自分なりに考えてみましたがいまいちピンと来ないです。経験がないから。


正直、彼とは別れたくないです。
彼も別れたくないと言ってくれていて、いつかは結婚したいとも言ってくれています。

それでも毎日、別れた方が幸せになれるのかな？と考えてしまいます。


同じ境遇の方、経験のある方の意見が聞きたいです。よろしくお願いします。