医師の彼とのつきあいについて

　付き合って1年の彼がいます。彼は泌尿器科の勤務医です。
私は普通のOLです。
この1年で会えたのは4回です。連絡はいつも私のほうから、1週間に１度くらいですが夜遅くしています。大体出てくれますが、話は短く、私の話の仕方が悪いのか、気分のよいときは長話もしてくれます。1時間半くらい離れたところにすんでいます。彼が都心部で私は田舎です。

彼の勤務は曜日によって勤め先がかわるのだそうです。基本的に日曜は休みだそうですが、勤務の日もあり連休や年末年始(特に忙しそう)、ゴールデンウイークも会ってはもらえません。
すこし前には会おうと言ってくれるのですが、直前でだめになります。私は医者の知り合いがいませんので誰にも聞けません。もちろんお医者さんと付き合っていることは誰も知りません。彼は40歳を少しまわっている人で独身です。

×１で子供はいません。私も独身で30代後半です。
私はもっと頻度よく会いたいのですが、会おうと約束して、「日が近づいたら連絡してきて」と言ってくれるのですが、直前でだめになることが大半です。最初はふざけていると思ったのですが、どうも忙しいのは普通のようでもあるのでなんとも言えず、ここまできました。「最初はいつもごめんね。」と言ってくれていました。５回約束して1度会えたらいいほうでしょうか。
会えば、いつもやさしいし、話も聞いてくれ、今まで出会った男性のなかで、一番気が会うんじゃないかと思います。(私は)

土曜の夜に会っても翌日の午後は勉強会があると言って長くは一緒ににいることができません。
麻酔科も診るそうで、忙しいのかもしれないのですが、勤務医ってそんなに忙しいのかと思います。
会わないと寂しいです。彼からの連絡もありませんから、付き合っているのかさえもわからなくなります。
彼に不満は言いませんが、この先どうしたらいいのかとも思います。