このくらいのことはガマンすべきでしょうか？

夫と私は、30代前半の夫婦で３歳になる子どもが１人います。
夫は３人兄妹で育ち、私は１人っ子です。
子どもが１歳を過ぎた頃から、２人目について話し合う機会が何度かありました。
夫はすぐにでも２人目が欲しいと言っていましたが、私が決心できずに今日に至っています。
理由は、以下の４点です。

１人目のツワリが酷く妊娠初期の３ヶ月以上の間、連日嘔吐しているような状況にも関わらず、夫は趣味（ジム通い・サイクリング・日帰り旅行など）に興じていた。

私が育児疲れを口にすると「育児は楽しい。辛いことなんて１度もない」と言う。
それに引き換え、私はというと子どもは連続睡眠が１時間弱程度の赤ちゃんだった上、発育・発達ともにスローペースで健診の度に要指導となるなど、最初の１年は心身ともに疲労してしまい「可愛い」とすら思えない日もあった。

妊娠から現在に至るまで、夫は趣味を変わらず続けており帰宅は連日深夜になるため、「２人目を授かったとしたら、子どものお風呂等の日々のお世話も増え、私１人では難しいのでせめて子どもが１歳過ぎるくらいまでは趣味を控え、早めに帰宅して手伝って欲しい」と言ったところ、「２人目は欲しいが、このスタイルを変える気はない。２人目の世話は１人目に教え込み手伝わせればいい」と言う。

ジム通いを非難すると「自分のジム通いは趣味ではなく、心身の鍛錬の為なのだから修行であり、仕事と同じ」と言う。

休日には夫なりのペースで子どもの世話をし、仕事も真面目にこなし問題も特にはありません。

２人目の子どもも欲しいと思う反面、夫がこのように考えていることが腹立たしく、このままでは２人目は諦めた方がいいのか？とも思います。
私が妊娠を躊躇してしまっている理由は、些細なことであり我慢すべきでしょうか？