義実家との近居の断りかた(愚痴です)

夫27歳、私24歳の結婚1年目の夫婦です。夫婦とも隣接する自治体にそれぞれ勤めていて、今はお互いの職場の中間地点に住んでいます。 夫の実家は元は義祖父母と二世帯で住んでいた築50年以上の古家と、そこから徒歩5分ほどの所に築10年ほどの現在の家の2棟を所有しています。 夫の実家から私の職場までは電車バスを乗り継いで2時間ほどかかるのですが、事あるごとに夫の実家の2棟のうちのどちらかに住み、近居になること前提で話をされ、気が重くなります。 結婚前に夫が私の通勤を理由にはっきり断ったにも関わらず、私に「夫が勤める自治体に転職したらいい。子供が出来ても育ててあげるから。」と言って、近居の話を進めたがります。また、結婚前には、恐らくより近居しやすいからだとは思いますが、義母に「夫には地元の子と職場結婚してほしかった。」と言われたこともあり、正直近居してうまくやれるとは思えません。(夫には思ったことをそのまま言う人だから深い意味はないと言われましたが…) また、義両親はまだ50代で働いていますし、義実家には独身の義弟もおり、たとえ近居しても生活のサポートする(してもらう)のは現実的ではありません。そして私は子供の頃からいつか自分で家を建てるのが夢でした。なので義両親の希望通り近居し中古の家に住むメリットを感じられず、義両親の気持ちがすごく重いです…。 顔を合わせるたび転職を急かされたり、最近はアポなしで家に来て、いつこっちに来るの？と言われます。夫とは将来的には、お互いの実家の中間地点に家を買うことで一致しているのですが、今まで基本的に親の言うことを守り、反抗期もなかったため今更どう折り合ったらいいのか？と悩んでいるようです。義両親もそれをわかっていて、近居の話は私にだけしてきます。本当に辛いです。皆さんは義両親からの近居の誘いはどうやって断ってこられましたか？ぜひアドバイスをください