家の買い替えについて

こんにちは。 築7年の戸建に住んでいますが先々買い替えを希望しています。 今現在のネットによる簡易査定だと売却金額は土地1300万円＋建物860万円 で合わせて2160万円前後になるそうです。 ローンの残債は1550万円ほど残っていますが、今のところ売却後はプラスは確実だと思います。 実際にこれから土地を探して5年後に注文で１８００万円くらいの建物を考えてますが、主人の年齢が5年後44歳、年収手取り500万円くらいだと、 2000万円の土地＋1800万円の建物＝3800万円の購入は無理でしょうか？ 一応、5年後までに自己資金500万円を貯金してプラス５年後の売却金額の プラスを足した金額を頭金にする予定です。 あと、今現在繰り上げを頑張ってローンの支払いが半分になり月々56000円 の返済で、毎月の貯金は64000円にボーナス貯金400000円で年間116万円貯蓄 していますが、家を買い換えた場合支払いは今の倍になり貯蓄もなかなか厳しいと思ってます。 主人は、今も持ち家なのに無理してわざわざ今の現状を変える必要があるのか考えているみたいで、確かに今より広い家で住み心地はいいかもしれないけど、先々のゆとりや子供の教育費の事も心配なようです。 周りの親戚で買い替えをした人がいますが自営業だったり、同居だったりで うちのようなサラリーマン家庭が家の買い替えなんて分不相応かな？ とも考えます。 この5年後買い替え計画は無謀でしょうか？ アドバイスお願いします。