タイミングが会わない彼について

現在付き合って半年の彼氏がいます。別れようか悩んでいます。
私27歳、彼35歳です。
彼氏とは職場で知り合いました。告白は彼からです。
まず付き合って二ヶ月程で会社の人事の書類を見 て、彼がバツイチだと知りました。
私もいい歳なので今後、お付き合いする人とはちゃんと結婚も視野に入れてお付き合いしたいと思ってます。
それを話した時にバツイチの事を彼に話しました
その時の反応は「隠す気もなかったけど、知ってるもんだと思ってた」と言われました。
それから三ヶ月、電話はたまに、メールは一日おきくらいでしていますが、一回もデートしていません。
一ヶ月は「君と出会う前に知り合った女の子に言い寄られてるが、付き合えなくて申し訳なくて彼女の悩みを聞いてるうちに自分もしんどくなり、病んでるから会えない」と言われました。
それから一ヶ月後には何度かデートの約束はしましたが、一回目は会社の同僚の飲み会を勝手にいれられ、ドタキャン。その後も何度か彼の不運が続いてドタキャン。8月は君の為に休みを取るといいながら自分の予定でお盆休みは埋めてて一日しか予定あわなかったのに、今日体調不良が原因でドタキャンされました。
彼は長距離トラック運転手なのでなかなか予定があわないのは承知のうえですが、
これだけタイミングが会わない相手だと、そろそろ見切りをつけた方がいいのかとも真剣に考えます。
どなたかアドバイスお願いします
彼の事は大好きですが、彼と全然予定があわず、ドタキャンも何度かされ、それに対する申し訳ないとかそんな言葉もなく悲しくなる日々が多いので相談しました。
私の価値観では好きなら、会いたいならドタキャンもしないし忙しくても会う時間を作ると思っています。
現に付き合って一ヶ月くらいは彼が積極的に時間を作ってくれていました
あと付き合って半年ですが一人暮らしの彼の部屋にあげてもらった事が一度もありません