この状況なら住宅購入についていつ相談しますか？

25歳の女です。同い年の主人、生後3ヶ月の娘がいます。

今は主人の職場近くの賃貸住宅に住んでいます。私も主人もこのあたりを気に入っていて子育て環境も悪くないので職場近くでの住宅購入も考えています。
住宅は頭金が貯まり次第購入予定で5年～10年後になるのではないかと思っています。

主人は長男ですが主人の実家は車で2時間以上かかり通勤が大変なので同居は出来ない、と私も主人も考えていました。
私達が面倒を見るのなら義両親にこちらに来てもらう形にしようと夫婦では話していました。
義両親も50代と若くまだ仕事もしています。主人の兄弟もまだ学生で実家にいます。

先日、私達夫婦と義両親で世間話をしていて私達が住宅財形をしている話になったところ義両親は「家を買う気なの？」とすごく驚いていました。
主人がさらりと「実家が遠くて通勤できないからね」と言ってくれその場でその話は終わりになりました。

しかしその後たびたび義両親の驚いたようなショックを受けたような反応を思い出してしまいます。漠然と長男夫婦はいつか実家に帰ってくると思っていたのなら早い段階で期待には添えないこと、老後は実家で過ごしたいのならできる範囲での金銭的な援助が中心になること、近くにいたいならこちらに来てもらう形になることを話さないといけないのかなと思いました。

本来、老後のことを考え出した両親や住宅購入や家族計画を考え出した兄弟達と話し合うべきかと思いますが義両親はまだ自分達の老後なんて考えられなさそうです。主人の兄弟もこれから就職や結婚なのに家族計画もなにもないだろうと思います。

ですが、住宅購入の際に責められるのも困ります。今、私達の考えを伝えるべきか数年後頭金が貯まった時点で伝えるか購入する住宅が決まってからいうべきか悩んでいます。
皆様ならどうしますか？