バツイチ子連れ同士の恋愛

今の彼との付き合いについてどうしたらいいのか
わからなくなりました・・・

今の彼とは３年前からお付き合いをして
昨年半年程別れ復縁をした２人です

子供達もいるのでお互い今しか見ていない軽い気持ちでした
でも最近まわりの人たちから先がないのに時間の無駄だと思う
という言葉を言われることが多くなり
（自分のことになると客観的に見えないこともあり）
この先どうすればいいのかわからなくなってきました
（１度赤ちゃんができた際彼に結婚するという考えはなく最低な決断をしたことがあります）
彼のことは好きなので別れたら後悔するのが分かっています
でもこの先誰かと一緒にと思う自分もいます・・・
年齢も３３歳なので時間の無駄だよと言われる原因なのかもしれません
（今だけとみているので子供達は彼の存在を知りません）

子供みたいな相談ですが皆さんの意見を聞かせてもらい
参考にしたいのでよろしくお願いします