仕事が忙しい彼。寂しくて不安です。

私(21)には付き合って2ヶ月になったばかりの彼(28)がいます。
彼のことは大好きですが、付き合ってすぐから不安と闘っている自分がいます。
彼は仕事が忙しく、休みは不定期です。
基本的に彼から連絡はありません。いつも私からで、まともな返事もなかったり、
すぐに返ってこなくなり途絶えます。しかし彼に、私はあまり連絡をくれないし、寂しいといわないよね、と言われました。忙しいと思っての気遣いだったと伝えて、もっと連絡してもいいの？と聞いて、もちろんだよと言ってくれたので、連絡も増やしたし、気持ちも伝えるようになりました。
しかし、彼は変わりません。私が連絡しなければ、3～5日
連絡がこないのは普通です。
会うときは仕事帰りの彼を気遣って彼のところへ私が出向き、いつも夜の待ち合わせです。
一緒にいるときはやっぱり好きだなと思うし、幸せです。
でも、いつも次の約束はできないし、しててもキャンセルも多いです。
お昼から会ってお買い物に行ったり、どこかへ出掛けたりしたことはありません。

一度、私が不安だと言ったことが原因で彼に別れようと言われたことがあります。
あなたはなんだか遠くにいるみたいで不安だといった途端、あまりにもあっさりと別れよう、さようならと言われたので正直ショックでした。子供だし、見た目で付き合ったとも言われてしまい、そのときは私も努力するからということになり、仲直りしましたが。。

仕事が忙しい彼は、疲れているとも思うし、全ての時間私に向けて欲しいとは思いません。
彼を支える存在でありたいと思う反面、連絡もとれなくて、なかなか会えず、正直とても不安で寂しいです。
この状況をうまく乗り越えるアドバイスをいただけないでしょうか。お願いします。