別れ？結婚？グレー？　悩んでいます

私はバツイチで子供が2人居ます　離婚してから7年たちます。 私は36歳で　彼は３９歳未婚です。 現在1年ほど付き合った彼が居て、先日結婚を私から申し込んだところ 「お前は愛せても子供を愛せる自信がない」と言われ 別れる事を決意しました。 しかし、彼も私もお互いのことは非常に想っていて 先日も会ったときに「大丈夫なのか？」と心配する言葉をかけて くれました 私は｢つらくなるので　会わないほうがいい」と伝えましたが お互いに気持ちが繋がっているので　とても辛い状況でした 彼と結婚できれば一番ですが、子供を含めると自信がないという 彼の気持ちもわかります。　 誠意を持って接してくれているので、別れてから体の関係を持とうと 言ったりもせず、ただただ　見守る姿勢をとってくれています。 私がグレーでいい！と決意していくべきか 彼の幸せを想うと　別れて次の彼女を探せるように 私が距離を置くほうが良いのか悩んでいます。 人生であった中で　本当にすばらしい性格の人だなと 想ったのは彼なので　悲しくて辛いです。 仕事が忙しく女性に縁がなかった方で　性格も見た目も 特段問題はありません。 みなさんなら　どうされますか？ やはり　彼のことを想って自分から身を引きますか？ それとも　グレーでもそばに居ることを選びますか？ ご意見いただけれたら　うれしいです。 長文読んでいただき　ありがとうございました。