別れるべきか

お互いバツイチの37歳です。付き合って二年目で同棲しています。彼は子供ありですが協議離婚により養育費は払っていません。彼は長男で実家に戻る予定で、地元の仕事を探していますが、中々見付かりません。私は出産のことを考えると、早く結婚したいです。彼にも結婚する意思はありますが、彼の仕事が決まるまでは私が安心出来ないので、私が結婚を伸ばしています。しかし、半年経って、いつまで待てばよいのか、と思い始めました。今の給料は低く、正直、貯金も思うように貯まりません。私も仕事はしていますが、不妊治療をするつもりなので、そのためにお金は貯めています。彼の貯金はほんのわずかです。これから子供を産み、育て、家も建てたいと思うのですが、甘い考えでしょうか。敷地内に小さくてもよいので家を建てたいという希望が両方にあります。親はお金を援助してくれると言ってくれてはいます。こんな心配をするならば、彼を諦めて、貯金もある程度持っている方を探した方がいいかと思ってしまいます。しかし、彼のことは人間的に尊敬していますし、何があっても一緒に頑張れるとは思います。私がお金のことばかり悩むのは間違っていますか。