彼とは続けるべきでしょうか？

はじめまして。３２歳の独身女性です。

現在人の紹介で付き合って１１ヶ月になる彼氏３４歳がいます。
当初、「うまくいけば１０ヶ月位で結婚を決めて、１年後には結婚というペースで進めたい。」と言われていました。
しかし、１１ヶ月経っても何も言われず、メールしても返事が来ないことが多くなりました。
なので「もう終わり？」と連絡したら、「会って話がしたい」とのこと。
会ってみると、「私とデートすると、私が子ども過ぎて、帰宅後に凄く疲れるから距離をおいてどうするか考えたかった」と言われました。

研究職をし、他人に興味が無く、無口な彼。女性と付き合った経験が無く、初めてのことだらけで疲れたようです。

今後どうしたいのか？尋ねると、「もう少し時間が欲しい」とのこと。
驚いた私はつい、「もし別れることになったら、すぐに私の事忘れて、次を探せる？」と聞いたら。「うん。どうしても君というこだわりはないから。失敗は恐れないから、次へ行くよ」
と言われ、私は酷く傷つきました。

先日までは毎週のように会い、凄く楽しかったのですが、このことをきっかけに彼の嫌な面が気になり、自分が多くの事で我慢してきたことに気がつき、どうでもよくなってきてしまいました。
しかし、これから次を探していい人が見つかるか心配です。

彼とは続けるべきでしょうか？
恥ずかしいお話ですが、ご意見お願いします。