義実家の考えは？今後どうしていけばいいのでしょうか

私２７歳　夫３４歳　生後１ヶ月の息子の３人家族です。
現在アパートを借り住んでいます。
アパートから１０分離れた所に夫の実家があります。
夫は次男で、実家には長男夫婦（共に３７歳・子無し）が離れに住んでいます。
息子がお腹に宿ったとわかった時、義父は『マイホームは子供が産まれて小学校くらいになってからでもいいんじゃないのか』とのこと。
それまでは早く建てた方がいいと話していたようです。
（実際私も夫の年齢を考えると早い方がいいと思います。）
本題に入ります。
夫の実家は古くから歴史のある家です。
長男夫婦は９年不妊治療をしていますがなかなか恵まれません。
私はなんとなく義父は私たち夫婦をあてにしているなと感じていました。
すると夫は私たちが家に入るか、私たちが家に入らないでも将来大きくなった息子が跡を継ぐことになるかも。というのです。
私は間違っても跡を継ぐ気はないですしそのために子供を産んだわけではないです。
夫は将来的にマイホームの購入を考えているのですが、『親から土地をもらえれば楽だから。家族の幸せを考えたらもらえた方がいい。』と言います。
確かに親から援助してもらえればありがたいですが、長男夫婦が子供に恵まれなかったら、援助してもらった以上は息子は将来的にとられてしまいそうな気がします。
義親の持っている土地はかなりあるのですが、どこも田舎で周りに家がある所でも４件程で、住んでいるのは私たちよりも年上の方。
当然、息子が友達になれるような同年代の子はいなく、小学校や病院なども遠いため、私的には共働きなんだしもっと子供を育てる環境のいい所を探しても、と思います。
子供にとって祖父母が近くにいることもいいのかなと思う時もありましたが、この話を聞きそんな気持ちは全くなくなりました。