都内共働き両親遠方、二人目どうするか

夫婦ともに３０代半ば、４さいの息子が１人います。
フルタイム共働き（夫は全国転勤有りだがここ１０年ほどは都内勤務）のため
０歳の時から保育園通いです。
自動車は持っていませんし、贅沢な趣味も無いですが、かなり住居費がかかっています。

息子が４歳になるまで、二人目なんて！と思っていましたが
結婚前から夫婦ともに子どもは２人いても良いなぁと言う漠然としたあこがれがあったこと、息子が４歳になって本当に手がかからなくなったこと
周りの友達の妹弟たちを見て、息子自身が妹欲しいな～なんていうようになったことから漠然と２人目欲しいかも・・・と思い始めました。

しかし、今まで、私の方が消極意見だったので
その現実的な理由を挙げて夫を説得してきたことに加え
夫が今、職場が忙しくなり心身ともに余裕が無い（と思われる）ことから
むしろ今は夫の方が消極的です。

消極的意見は以下の通り
・１人目の時、ハイリスク妊婦で２ヶ月入院、次の出産も同程度の入院が必要と見込まれる（その間の１人目の世話は？）
・両家両親ともに遠方かつ仕事をしているため、手伝いは不可能。１人目の時も、里帰りしていない。
・家事育児の負担として、現在夫は平日に関してはゼロ。
・金銭的問題。子どもがいて、同条件で働き続けられるか？私の収入が無くなると、贅沢はできない。
・家も狭い。これ以上広い家は難しい・・・

同じような条件のママ友は、２人目産んでから仕事を辞めた人、パートになった人が多いです。

夫としては、はっきりとは言いませんが、一番のネックは金銭的なもので、私が今までと同じように稼ぎ、今まで以上に育児家事の負担が増えても私が１人で頑張れて、かついらいらせず穏やかに過ごせるのであれば良いという意見なんだと思います。

このような場合、皆様は２人目は諦めますか？