1歳児の育児中、夫の趣味を受け入れられますか？

33歳、夫と1歳の息子の三人家族です。 夫の仕事の都合で、私の実家からも義実家からも遠い場所に住んでいます。 夫は正社員、私はフルタイム・残業なしの契約社員で働いています。 タイトルのとおり、夫の趣味についてご相談です。 夫の趣味はマリンスポーツで、出産前は週に一度海へ出かけていました。 出産後の一ヶ月間はさすがに控えてくれたものの（里帰りせずに自宅近辺の病院で出産しています）、息子が生後一ヶ月を迎えるとまた毎週海に行くようになってしまいました。 私が育休から復帰した後も、毎週海へ出かけています。 私がもっと趣味の時間を減らしてほしいとお願いし、先月から隔週に減らしてもらいみましたが、趣味の時間がとれないとストレスがたまるのか、夫は些細なことでイライラするようになってしまいました。 私は休日に洗濯、掃除、料理（常備菜を数種類つくりおき）をこなすため、夫が不在だと、誰も日ごろ保育園でがんばっている息子の相手をしてやれません。 息子がかわいそうだし、私もつらいから趣味の回数を減らしてほしいとお願いしたのですが、家の中の雰囲気は険悪です。 先日は、息子がインフルエンザで保育園を休み、私も仕事を一週間欠勤したため、溜まった仕事を土日にしたいと話したら、「俺には家族のために趣味を我慢しろと言っているのに、自分は仕事を優先するのか」と言われました。 ただ、趣味から帰ってくると（夜明けに出発し、夕方に帰宅）家事を手伝い、子どもと遊んでくれることもあるので、離婚までは考えずに、なんとかうまくやっていきたいと思っています。 皆さんのご意見、お聞かせください。