休みが合わないカップル

私:社会人(なりたて)土日休み。
彼氏:学生。
3年ほど付き合っています。

土日休みの私と、大学と並行してスポーツをしているため土曜の昼過ぎまで練習・日曜試合の彼氏で休みが合いません。
ただ、寂しがりの私を理解してくれてはいるので、平日私が仕事から帰ってきてからの時間毎日連絡を取ってくれたり、(お互い子供なので信憑性はありませんが)「これから先将来も一緒にいたいとおれは思ってるんだ」とここぞというときにはいってくれたり、私のことを大事にしてくれているのは伝わります。

ただ、普段会えても土日のうち練習後の数時間だけで、翌日の試合を考慮してデートらしいデートもできません。私の周りの社会人カップルが金曜の晩から彼氏の家に行って頻繁にお泊まりしていたり、土日を使って小旅行やお出かけをしているのをみると羨ましく思います。

これまではコロナの影響もあり彼の練習時間が少なく、平日私の仕事終わりに会ったり、土日どちらか丸1日あそんだりしていました。しかし、コロナによる規制が少し緩んだのと、シーズンに入ったので今は練習中心の生活になっています。平日も夜9時ごろまで練習やそれ関係のことがあったり、日曜も朝から夕方まで試合でその後仲間と飲みに行ったりで連絡も激減しました。
それに対し、「時間があまりなくて少し寂しいな、周りの話聞くと羨ましいって思ってしまう」と言うと「連絡する時間取ってあげたり、(土曜の数時間)会ってるじゃないか。これ以上わがまま言わないでくれ」と言われ、どうしたらいいか分かりません。

本当はあまり飲みに行かずに会ってほしいし、せめて会いたいという気持ちぐらいは見せてほしいと思ってますが、ひとりよがりのわがままでしょうか。
「時間作ってあげてるんだ。俺はそこまで会いたくない」と言われるのが辛いです。

長文乱文ですが、ご指摘があれば頂きたいです。