夫に期待しない方法って？

２歳になったばかりの子供がいる兼業主婦です。
兼業ですが帰宅時間が違う為、平日の家事育児は１００％私です。

先日週末を挟み夫が１週間不在でした。
疲れたけれど週末も子供と二人とても楽しく充実しました。

でも夫が帰ってきた途端に夫婦ケンカになりました。
原因は夫の趣味です。

夫はとあるスポーツに没頭しており、家に居ても
趣味仲間への連絡や趣味のスケジュールについてばかり考えています。
平日も早く帰ってきた日は必ず趣味に出掛けます。

今回も帰ってきて早々に出かけると言い、更に週末の
趣味の予定について話をされたのでキレてしまいました。
（子供とパパ帰ってくるの楽しみだねってずっと話してたのに・・・）

いつも趣味趣味趣味・・・
うちは共働きなので土日にお互いの自由時間を設けるようにしていますが
家族サービスに使うのはあくまで私の自由時間です。
趣味の時間は譲りません。
週末の予定も夫の趣味の予定に合わせて組んでいます。

「お前も自分の時間で好きに出かけたらいいだろう」と夫は言いますが
そうすると家族が揃う時間が全くなくなります。

もう趣味のことでいちいち腹を立てるのは嫌なんです。
もうすぐ２人目が生まれるので今以上にストレスが溜まりそうです。
夫に期待せず夫が不在の時のような穏やかな気持ちでいたいんです。

どうすればいいでしょうか。