皆はどうしてますか？（彼氏と自分の趣味）

30代女性です。 私には40代バツ１の彼氏がいます。 元奥さんに難有で離婚しましたが娘さん（現在、高校３年）は元奥さんが引き取り、彼は養育費支払い中です。 私は一人暮らし。彼は実家暮らし。毎日、会ってくれます。 平日は互いに仕事なので夜のみ私の家に来ます。 土曜日は彼は半日仕事。日曜日は互いに休みなので前日に泊まりに来て翌日は外出したり自宅でゆっくりしたり半々です。 前置きが長くなりましたが、ここから本題です。 現在は彼が実家から私の家に行き帰りして会っていますが、私には趣味があり月に１回あるかないかの頻度で１人の時間を楽しんでいます。 私が「この日（前もって言ってます）は趣味のイベントあるから会えるとしたら夕方以降になる」と伝えています。 その時の彼は何も言わず見送ってくれるのですが、あまり行ってほしくなさそうな顔をします。 ですが、私の趣味の時間帯の時の彼は仕事や彼は彼の趣味に冒頭してます。 なので、彼と会うまで待つのは良いのですが会う時間帯まで何もしないのも暇なので私もその時間帯だけは自分の自由時間にしています。 彼は否定はしませんが行こうとすると拗ねます。 多分ですが、私が彼以外の人と関わってそっちばかりになるとか異性と絡むのが嫌だと感じるのかもしれませんが、頻繁に行っているわけでもなく、仮に異性から誘われても全部断っています。ですが趣味の友人（同性のみ）は大切にしたいんです。 ですが、彼の気持ちも尊重したいのでどうしたら良いのでしょうか？ ちなみに趣味をやめると言うと彼は「俺のためにやめるのは駄目」と言います。 それなら彼を趣味に巻き込もうとしても興味ないので強制も出来ず。 難しいんですが、結婚している人、彼氏いる人達はどうやって相手を安心させて尚自分の趣味を楽しめるでしょうか？