遠距離恋愛だけど…

アプリで出会って約1年半、ずっと遠距離恋愛をしているバツイチの彼氏がいます。 彼は、仕事はもちろん、彼の家のすぐ近くに住むご家族(成人している娘さん・元奥様・親)や友人たちとの食事会・お出かけ、その他自分の趣味など、プライベートが忙しく充実していて、 恋愛優先順位はとても低く、私とのことは「どこかで予定が合えばね。」という感じです…。 恋愛優先順位が低いこと、自由人だから。ということは初めに聞いていたのですが、やはりなかなか会えないだけに寂しくもあり、不安にもなってしまいます。 早めにお互いの仕事の休み(2人とも不定休)を合わせて、前もって予定を入れようとしても「その時になってみないと、仕事も他の予定も分からない。早め早めの約束というのが苦手。」と言うので、ギリギリまで待ってみるのですが、結局他の予定が入ったりして しばらく会えなかったことも多々ありました。 その度に「もう、私に会いたいとか、愛情なんて無いんだろうな…。」と思うのですが、ほぼ毎日電話やLINEはあるし、会った時は本当に楽しそうに、大切にしてくれます。 しかし、遠距離であることや(会うためには最低でも、1泊2日は必要)、私が仕事をかけ持ちをしている関係で日程調整もあり 早めに予定を決めておきたいのですが、それは彼にとっては負担になるようです。 今回も、○日に会えたらいいね♪と少し前の電話中に話した日があったのですが、 「○日は、キャンプ仲間に誘われたからキャンプしてくる。」と連絡があり…。 そんな性格だと分かっていながらモヤモヤしてしまうのは、やはり私のわがままでしょうか。 皆様のご意見・アドバイスや感じたことなど、参考までに教えて頂けたら幸いです。 よろしくお願いいたします。