遠距離恋愛中の彼氏とのやりとりで

30歳、同い年の彼がいます。
元々大学の時からの友人でお付き合い歴は６年くらい、ずっと遠距離です(片道１時間くらい)。

彼は土日祝日休み、私は月火休みのため基本的には月曜祝日があるときにはそのタイミングで、月曜祝日がない月には私が日曜に有給をとって会いに行っています。
(今私が都内で勤務しており、彼は先天的に足が悪く車で移動できないとキツい…とのことで毎回私が彼のところに行っています)

私の仕事の都合上、急な有給は取れないので基本的に２ヶ月先の会う日をラインで決めて、月一回の頻度で会っています。ただ彼からは○日に会いたい、などと言ってくれないので、私が自分の仕事の予定状況を確認し、有給が取れそうな日にとって、そこが彼の予定的にダメなのかOKかを聞いて予定が決まる状態です。

ただ７月の予定を決める際、月曜日に祝日があったのでその前日(日)に有給をとったから会おうと伝えたとき、彼からその前週と翌週の(土)がオープンキャンパスで休みがつぶれる、なのでその週はひとりの時間がほしい、と言われました(彼は大学教員)。
私としては前週、翌週は日曜日休めるだろうし、会う週も土曜日ひとりの時間がつくれると思いそれを言ってみたのですが、ひとりで過ごす連休が欲しいそうです。
仕方がないので８月のお盆休みには私の休みに合わせて月火会ってほしいと伝えましたが、それも一応了承はしてくれたものの、もし休みじゃなかったらごめんね笑、となんだか微妙な返答。
そもそも来年くらいから同棲をしようか、という話が出ているのですが、なのに今の時点で上記の状態でひとりの時間を求められると、本当に一緒に住んでやっていくことができるのか不安になります。

こんな風に思うのは私のわがままなのでしょうか？
みなさんならこういう時、どのように対応しますか？(彼へこんな風にしてほしいと要求する、など)