遠距離の彼、信じていいのか

約１か月前から遠距離恋愛をしています。

今まで２回会っただけ、メールも電話も２～３カ月に１回、用件のみでした。ブログでは交流はありました。
３回目に会ったときに告白され、私もよくも知らないのに、なぜかＯＫの返事をしていました。
新幹線で３時間ほどの距離。
会えないことは、仕方ないし、その分連絡をとれば大丈夫だと自信はありました。

しかし、彼はメールも電話もマメではなく、仕事は毎日終電まで、泊まりになることもしばしばあります。休みも確実に取れるかわからない人でした。

付き合いが始まって、メールや電話を増やしてほしいことを伝え、努力してくれているのはわかりました。
ですが、彼の仕事が忙しくなると、１日１回のメールもなく、週に２回ほどしていた電話も、少しの合間でかけてきて、３分ほどで切られました。

私は彼の気持ちがわかりません。
私が連絡を増やしてほしいといったので努力してくれているのはわかりますが、次に会う日も、彼の休みがわからないため決められないし、なんだか不安でしかたありません。
このため、彼が電話をくれても、私が暗い声しか出さないので、彼の負担にもなっていると思います。本当は彼を信じて、明るくふるまいたいのですが。

私は好きなら、少しでも声が聞きたいと思うし、メールをしたいと思うし、
仕事が忙しすぎて、１日にほんの少しの電話やメールができない気持ちが理解できません。
好きな気持ちと連絡の頻度が比例しない人がいることも頭ではわかっていますが、始まった当初からの遠距離。連絡以外で愛情表現ができるでしょうか。

どう考えれば彼を信じることができますか？
また、実は別れた方がいいのでしょうか？

伝えきれない部分もありますが、ご意見・アドバイスをお願いします。