賃貸派？購入派？どちらがいいのか迷っています

以下の場合、マンションまたは戸建を購入する派か賃貸する派か、理由を含め教えてください。

夫婦共に４０代前半　東京都下在住
年収は額面８００万（自営３年目）で小学生以下の子供３人。親族の事情のため、子供が４人になる可能性あり。
貯金は現時点で７００万　この他、積立途中のものが６５歳満期で１５００万ほどになる予定。
現在一戸建て４ＬＤＫ賃貸１２万円　車やカード等のローン返済はナシ。
子供達の学費のために、１５年満期で３００万の積み立て中（あと７年で満期）
現在はこのほかに年間１００万のペースで貯金しています。
会社の立ち上げのために少し貯金が減ってしまいましたが、家族で過ごす時間が増えたので良かったと思っています。


私は、子供が育つまでは賃貸で、その後、夫婦二人が住める小さな家かマンションを中古で購入して、自分たちの好きなところへ住めれば良いと思っていました。
仕事も自営なので、６０歳で退職する必要もないので、元気な限りは働いていけばどうにか暮らしていけるかな、と。

大学は夫婦共、全額自分たちで支払いました。
ですから、子供たちが自分で支払えるようならそうしてくれればと思っています。人数が多いので、全員分は出せないかと思います。

ところが、最近になって主人がやはり自分の居場所だと思える購入に心が動いているようです。
今は東京を離れることが出来ませんし、子供もいるのである程度の広さが必要です。子供たちの学校の事やローンの利子分などを考えると、
退職してから都会を少し離れ、安い物件を購入しても良いのでは？と思ってしまうのですが、
賃貸にお金を払うのが「損している」気持ちになるようです。ご近所づきあいも今のところが気楽で良いのですが・・・。

みなさんの考えやご経験を教えてください！！アドバイスも戴けたらうれしいです。