アラフォーの恋　諦めるべきですか？

はじめまして。アラアフォーバツなし小さな会社を営んでいる女性です。
些細な内容、つたない文章で申し訳ないですが、ご意見いただける方がいればよろしくお願いします。

4年ぶりに恋をしてしまいました。
でも、それが1年前に別れた元カレです。相手は2歳下でバツイチ同じく経営者、紹介で知り合った方です。
お会いしてすぐ彼から不器用ながら猛烈に押され、いくつかの恋愛で愛情を受け入れることに臆病になっていた私も、もうこの年齢ですし、彼の気持ちにこたえたいと思いました。
彼が深夜までの飲食業なのでメールや電話すら時間帯があわず、休みもどうにかあわせて月に2～3回とお互いの努力がかなり必要でしたが、結婚したらそれも解消できるから我慢してくれと言われていました。
しかし、次第に彼の仕事に対する情熱のなさや適当さが目につきはじめ喧嘩が頻繁になりました。
早目の解決も徐々にできなくなり、不完全燃焼のまま1年未満で私から別れを切り出しました。

しかし、1年後に再会し会話をして驚きました。彼は仕事に熱意を傾ける男に変わっていたのです。
数日後食事に行くことになり、ありのままをされけだして話をしてくれて、そしてある病気であることをはじめて明かしてくれました。
私は、この人を支えたい寄り添いたいと強く思ってしまいました。
でも、こちらから別れを告げておきながら虫がよすぎると思いそれを伝えることはできませんでした。
それに、それを彼が望んでいるように思えませんでした。
彼は現在彼女なし想う人なしで、業績の不安からがむしゃらに仕事をしていると言ってました。

一度終わってしまったた仲なのに、さらけだされてはじめて彼という人間を知ることができ、今さらやり場のない愛しさを抱いてしまいました。
自分勝手だと自覚しています。縁がなかったとこのまま諦めるべきでしょうか？