住み替え　無謀でしょうか・・・？

諸事情で現在住んでいる分譲マンションから別の住居へ住み替えをしたいと切に思っています。
現在の我が家の収入ではやはり無謀でしょうか？
夫の年収は550万、私は現在は専業主婦で無収入です。

現在、築9年のマンションに住んでおり、査定価格は2400～2500万です。
ローンは残り1800万ほど。
貯蓄は1500万ほどあります。

住み替え先の物件価格は3100万～3300万で考えています。

夫は40歳ですが、10年前に一度転職していることもあって現在は決して高収入とはいえません。
私は30代後半で、4年前に妊娠出産を機に事情があって正社員の仕事を辞めました。
今住んでいる地域が保育園激戦区であり認可外保育所も無い地域なので、
再びフルタイムで働くのは難しい状況です。
下の子供が幼稚園に入園したらパートをしようと思っており、月10万ほどの収入になると思います。
このような経済状況で、子供はまだ4歳と2歳でこれから教育資金を貯めていく必要があり、
老後の資金もそろそろ考えていく必要があるなかで、
住み替えを考えるのは現実的ではないでしょうか？

ご意見よろしくお願いいたします。