シングルファザーの彼氏について

悩んでも答えが出ず、こちらで相談することにしました。そもそもシングルの人と付き合っている事に対しての批判も承知ですが、ご意見が頂ければ嬉しいです。 私は30歳で独身未婚です。 彼氏は33歳で3人子持ちのシングルファザーです(上は中学で下は小学生) 相手は関東住みで、私の住むところからは約1000ｋｍ離れた遠距離です。同じ会社に勤めており、各地から社員が集まる会議で出会いました。2ヶ月程に一度会議で顔を合わせる中で、お互いに惹かれるところがあり、1年半の付き合いに至ります。 シングルファザーな上に遠距離恋愛なので、皆さんが理解に苦しむのは当然かと思いますし、こんな無謀な恋愛をしている人も確実にいないと思います。 それでも、好きという気持ちが止められなくなるくらい魅力的で優しい彼なのです。 しかし最近、彼の仕事が忙しさを増し、更には子供のことで常にバタバタしていることもあり、ちょっとしたすれ違いが出てきました。私も寂しく感じることがあり、彼氏も私に対する罪悪感から別れ話になりました。 彼氏側の内容としては、 「自分は今のまま付き合えればいいと思うけど、まだ下の子も小さいからこの先結婚も出来ないし子供も諦めて貰わなくてはならない。いつも寂しい思いをさせてしまってるから、別れた方が私の為だよ」とのことでした。 もちろんその通りで、私は彼と付き合い続ける以上、子供も結婚も諦めなければなりません。 でも、彼と別れたからといって他の人と結婚して子供ができるという保証もありません。 この歳で一人っきりになる寂しさも正直ありますし、男性ばかりの職場で出会いはありますが、他に魅力を感じる相手もいません。 自分の我儘な気持ちも十分に分かってはいますが、どう決断したらいいのか悩んでしまいます。別れを決断すれば楽になるのでしょうか。 あの時別れなければ‥と後悔しないでしょうか。