仕事好きな彼とうまくやるには？別れたほうがよい？

バツイチの彼のことで相談です。離婚理由は仕事に没頭し家庭をかえりみなかったためです。 私と出会ったのは離婚後です。付き合いだした頃に「もう同じ過ちは繰り返したくない。お前のこと失いたくないから、もし俺が仕事に没頭しすぎて寂しくなったらちゃんと言ってね」と言われました。「釣った魚に餌をやらないって言われて、いつも女性に振られちゃう。」とも言ってました。 そして、付き合いが1年ちょっとたった今、上記のような感じです。 彼は仕事に没頭しており、「会いたい」と言っても「忙しくて無理」のひとこと。「会えなくて寂しい」と言っても「俺だって寂しいけど、仕事だから仕方ないだろう。」で終了。不満をぶつけると聞く耳を持ってくれません。 たまに電話はくれますし、俺のお前に対する気持ちは何も変わってないよ・・・とも言ってます。 私が「もう嫌われたのかと思った」と冗談で言うと、「そんな風に思ってたんだ（俺はまったくそんなつもりないのに）」と非常にがっかりします。 でも、ここ3ヶ月時間を作ってもらえてないです。約束をしても毎回仕事を理由にドタキャンです。ドタキャンが続くのでもう予定を立てるのもツラくなり、今は予定を立てることもしてません。 同じ職場なので毎日顔はあわせてますし、ちょこちょこ話すことはできます。そして毎日彼の様子を見てますし、勤務状況も把握できているので、浮気はないと思います。 こんな彼氏とこの先うまくやっていけるか非常に不安です。結婚も考えていたのですが、皮肉なことに前妻の気持ちがすごく分かってしまい、結婚となるとますます不安です。 こんな彼氏とうまくやっていくにはどうしたらいいでしょうか？やはり別れたほうがよいのでしょうか？