バツ2の彼と別れ、前に進みたい

こんにちは。 長文失礼します。 31歳女性です。1か月前、バツ2で3人子持ち(中学生と高校生)の彼氏(38歳)と別れました。 1年間付き合ってすぐ同棲という感じだったのでずっと一緒にいました。大好きでしたし、料理を作ってくれたり尽してくれていました。 ですが、やはり先が見えなく、信じきれないことからの不安に耐えきれませんでした。 詳しく言うと、私は幸せな家族を作るのが夢なので、早く結婚したいのですが、彼は世間体もあるため2.3年は待って欲しいと言っていました。 また、前の奥様と別れる前からかなりプッシュされ、会いたいなどLINEしてきたり、みんなで呑んだ帰りなど一緒に寝たいとか言ってきていたので、(もちろん離婚するまでは拒否していましたし、離婚成立してから付き合いました。)もし結婚できたとしても、少しでも上手くいかないことがあったら、他の子に同じことするのではとずっと不安な生活を送るのが嫌だったからです。 さらに飲み会大好き、お酒大好きの彼で仕事柄よくお客さんと飲みに行っていました。そうなると帰りは午前1時や2時…これで子供など産まれたらうまくいくのだろうかとの不安もありました。 別れる時は2人ともかなり泣き、別れました。 大好きで、性格の相性などもかなりあっていたので今も悲しいです。 そして、別れてからこの彼の前に付き合っていた、元カレ(誠実で真面目、結婚経験なし)に再会し、この話はしてないのですがもう一度結婚前提で付き合って欲しいと言われました。 今はこんな気持ちでは失礼なのでお返事は保留にしてもらってます。 私は早めにこの彼に踏ん切りをつけて前に進むべきでしょうか。