お付き合いしている男性からの愛情が感じられず悩んでいます

趣味を通して知り合い、彼からの告白でお付き合いすることになった男性がいます。
現在お付き合いして4か月、私は36歳、彼は34歳です。

彼は付き合う前から連絡不精で、LINEは3～5日に一通くらいの頻度でした。
付き合ってからも連絡の頻度は変わっていません。
また、お互い勤務時間が不規則な職業のためなかなか休日が合わず、付き合う前のデートは2回、付き合ってからは一度も外デートしていません。
仕事終わりにどちらかの家でご飯を食べて泊まり、早朝に一緒に家を出るというのがお家デートと呼べるのなら、1～2週に一度は会っています。
丸一日一緒の時間が過ごせたことは一度もありません。
何度か外デートの約束をしたこともありますが、すべて彼の仕事でキャンセルになりました。嘘ではないことは分かっています。でも別日に日程調整はされず、約束はすべて流れました。

11月私と彼の誕生日があり日付も近いので、当日でなくてもいいので、事前に休日を合わせて一緒にお祝いしないかと10月に提案したところ、その日に「これから仕事だから予定確認してくるね」と言ってくれましたが、私の締切日までに返事がなく、結局休日を合わせることはできませんでした。
先日誕生日を迎えましたが、それまでに誕生日の話題は全くなく、私は友人と過ごしました。
彼からは夜23時に「お誕生日おめでとう」とLINEがきていましたがすでに寝ており、私自身は「時間も作ってもらえなかったしおめでとうも言ってもらえなかった」と悲しい気持ちで当日を終えました。

翌日お礼の返事をしたところ「誕生日会しよう、空いてる日ある?」とLINEがきたのですが、返事できずにいます。
1か月以上時間があったのに、なぜ誕生日が過ぎてから言うのか、彼の気持ちが全く分かりません。
付き合っている実感が持てず、毎日悩んでいます。
同じような経験がある方がいればご助言ください。