趣味優先の彼。愛情は感じるけどモヤモヤしてしまいます…。

私は20代前半で、同い年の彼がいます。お互い土日休みです。
彼が少しマニアックな趣味を持っていて、常に趣味優先で、なんと言いますか、私の「彼に会いたい」気持ちが大きい為か、「会えない現実」とのギャップに悩んでいます。

最近彼の趣味の集まりが続いていて、ここ２週間ほどデートしていません。そして今度の週末は私の予定が入っていて、会えそうにありません。

先日、彼の趣味の集まりがいつもより早く終わったようだったので「今から少し会いたい」と言ってみたのですが、彼の返事は「ゴメン、今日は帰りたい」でした。
なので「そっか、分かったよ。また時間がある時に会おうね。お疲れ様。」と言い電話を切りましたが、心の中ではものすごくガッカリ…。

彼は知り合った当初から前もって予定を組むタイプではなく、お互い予定が合えば会う、というスタンスです。
クリスマスや誕生日などのイベント時は一緒に過ごしていますし、二人でいる時は態度や言葉使いからちゃんと愛情は感じるのです。
彼はこのマニアックな趣味以外にも毎週参加している集まりもあり、交友関係は広いです。
かたや私は友人関係が狭く深いタイプで、しかも平日休みの友人ばかり。そんな私の趣味は読書…。
傍から見ると正反対な二人ですが、縁があったのでしょうか、知り合って３年、付き合って１年になります。

彼女と趣味は比べるものではない、と頭では分かっているし、常々自分に言い聞かせていますが、それでも湧き出るこのモヤモヤ…。
彼に受け入れて貰えなかった「彼に会いたい私の気持ち」をどこへぶつけたら良いのやら…。

趣味を大切にされている彼氏・彼女・旦那様・奥様をお持ちの皆様、
このようなモヤモヤはありませんか？どのように解消されていますか？
ご回答いただけたら嬉しいです。

乱雑な文章になってしまい申し訳ないです。