旦那のゴルフについて

私、旦那29歳、子供2歳の3人家族です。

お互い自営業で仕事をしており、旦那の仕事は基本夜遅くまでなので家事育児は基本私です。
家賃は旦那が払い生活費は私が払っています。

週に一度の土曜日は家族で過ごす日にしています。

最近旦那がゴルフを始め、月に1.2回ゴルフに行き出しました。
(土曜日にいくこともあり)
週に1.2回打ちっぱなしにいきます。

ゴルフに行くのは反対ではないですが、相談もなくいつも事後報告で「この日ゴルフいってくるね〜」と言う感じで、なんだかモヤモヤしてしまいました。

子供は保育園に通っており送り迎えも私です。
子供が保育園の間、私は仕事をしてるので1人の時間も基本ありません。

どうして旦那だけ自分の趣味の時間を作って私にはないんだろう、、、と思ってしまったり、、
仕事が終わってから打ちっぱなしにいくことに関しても、普段旦那は仕事で帰りが遅いんだから早く帰れるときは打ちっぱなしにいかず、まっすぐ帰ってきて欲しいと思ってしまいます。

旦那に「私も1人の時間欲しいのになんでいつも自分だけゴルフいくの？」と言ったら
「そんなに頻度多くなくない？俺がゴルフ行くたびに、ゆかその1人時間作るために俺も仕事休むの無理だから。
ゆかそが言ってるのは500円あげたんだから500円返してねって言ってるのと同じ」と言われました。

正直、私は1人の時間が欲しいといっても子供を旦那に任せて外に出るというのは出来ないと思います。
子供がパパといる時間が短いため普通に遊ぶことはできますが、ママママとなってしまうのが目に見えてわかるので、
そこまでして1人の時間を作ろうとも思ってなく、だけど旦那が1人で趣味の時間があることに嫉妬してしまいます。。

私は理解が足りないのでしょうか？

色んな方の意見聞きたいです。