世帯年収900万円でマイホーム。心配です

マイホーム購入を考えていますが、心配になってこちらに書き込みました。 夫婦とも30代後半、1歳半の子供が一人おります。 共働きで世帯年収は約900万円、貯金がいろいろ合わせて約1000万円です。 子供の進学費用などは別に貯蓄しています。 4年前の結婚当時、夫が独身時代に買ったマンションのローンが約2000万円あり、 来年中に全額返済予定なので貯金が500万円くらいに減ります。 所有しているマンションは遠く離れたところにあるため住むことができず、賃貸に出しています。（諸費用引いて+6万円くらいです） 返済のほうもなんとか見通しが立ってきたので今住んでいるところに家を購入したいと思い始めたのですが、マンションも建売も相場が4500～5000万円くらい。 これから頑張って頭金500万円を用意して、月々の返済と繰り上げ返済と私の親からの援助で定年までに完済したいと思っています。（夫の親は資産はありますが援助するつもりは全くないとのことです。） 定年後は二人で悠々自適に暮らしたいし、子供にもある程度のものを残してやりたい。 あまり体が丈夫ではないので私がいつまで働けるかわからないし、夫のお給料もなかなか上がらない。 マイホームを持ちたいという夢を見ながら、老後のことを考えると不安で不安で・・・ 同じような年収で同じくらいの貯金で同じくらいのマイホームを考えている方、購入した方、そして不安を抱えている方、よろしかったらご意見お聞かせできないでしょうか？よろしくお願いいたします。