住宅ローンを組んだ後に手元に残しておくお金

2年後に新築予定の結婚4ヶ月目専業主婦です。夫は37歳会社員、私は28歳で現在妊娠中です。 夫の年収は税込み750万円です。 建物価格は3600万円ぐらいになります（まだ見積もり前ですが）。土地は私が遺産相続する（来月遺産相続・名義変更手続きします）土地に家を建てます。 2年後までに夫の住宅財形と月々の貯蓄で新築購入費の頭金が1000万円貯まる計算です。 1000万円丸まる建物の頭金に使用すると、夫名義の貯金はほとんど無くなります。私名義の貯金は独身時代からのもので、現在定期預金で400万円＋普通預金で100万円あります。夫婦の貯蓄で考えると頭金を支払った後に手元に残るお金は500万円です。 現在日々の生活は主人の収入だけでまかなっており、結婚後私の貯蓄を引き出したことはありません。 今までは夫婦だけでしたが、この秋に第1子が誕生し、将来的にはあともう一人欲しいと思っています。 頭金を払った後手元に残るお金が500万円で大丈夫でしょうか。それとも、私の貯金からあといくらか頭金に費やした方が良いでしょうか。 ちなみに建物以外でかかる諸経費（税金や引越し代、登記費用、家具購入費用など）は別に500万円用意してあります。