賃貸料もったいない？

戸建購入希望の専業主婦です。

現在、地方都市在住で転勤の可能性もかなり低いです。
夫は専門職でリストラ等の心配はなく年収は１３００万ほど、貯金は２５００万円、子供は１歳です（もうひとり欲しい）。

１１万ほどの賃貸料を払って駅から近い便利なマンションに住んでいます。
転勤もないしそろそろ戸建が欲しいと思っているのですが、実際見に行くと希望するような物件は高くて狭い（築浅中古も高い）。
ローンを４０００万近く組まなければならないようなものばかりです。

こんな狭い家のために４０００万の借金を背負うのはなんだかなあ・・と結局決めきれずにいます。でも、ずっと賃貸希望でもなく、遅くとも子供が小学校に入るまでには購入したいので、いずれ買うならそれまでの賃貸料が勿体ないような。
夫婦とも贅沢に興味はないので、今は年４００万ぐらい貯まっていますが、子供はできれば中学から私学に入れたいと思っているので、そこからは教育費で貯金もそんなにできないです。
なので、それまでにローン完済するのが希望です。

現在の家は戸建より暖かいし駅も近いし家賃も高くないし、良い所もいっぱいです。でもずっと賃貸も寂しい。でも１００％満足でない家のために４０００万の借金はいや・・と同道巡りです。

もっと貯金が貯まってから買ったほうが精神衛生上良いでしょうか？
それまでの賃貸料が勿体ないような気もしますが・・・。