義実家と同じ敷地内に住みたくありません

現在結婚して1年目、24歳の女です。 夫は二人兄弟の次男で27歳、夫婦共働きです。 先日夫とマイホームの購入を検討しようという話になり、家計のやりくりについて詳しく洗い出しをしました。 次の日、夫が義実家の敷地内へ引っ越そうと提案してきました。 義実家の敷地内には1戸建が2軒あり、うち1軒は昔夫の祖父母が住んでいたのですが、現在は二人とも亡くなってしまったため空き家になっています。 今住んでいる賃貸アパートの家賃を貯蓄に回すため、その空き家の方に引っ越そうと言い出したのです。 義両親はとても良くしてくださる方で、特に問題があるわけではないのですが、私が潔癖症で、以前お邪魔したときに生活できるような印象ではなかったのと、やはり同じ敷地内ということでいつでも行動が見られているような、丸わかりのような気がしてしまいそうで、そのような状態は耐えられません。 また、現在住んでいるところよりもかなり利便性も劣ってしまうので、そこも納得できません。 私はいずれ夫の兄が結婚したら、その空き家で暮らすと聞いていたため、義実家の近くに住むことはないと安心していたのですが…急にこのような状態になってしまい、困惑しています。 話を提案されたときに上記のことも伝え、それはできないと言ったのですが、夫はわたしの意見を聞く耳すら持たず….いつもの事ですが、私が合わせなければ、話は絶対にまとまりません。 いくら話し合いをしても夫が他の人の意見を聞き入れることはないので、私が折れるしかないかとも思っていますが、義実家に行けば、夫は居心地が良くなりマイホーム購入の話も流れてしまうような気もしますし、生活環境ががらりと変わる決断を迫られていて、どうするべきなのか分かりません。 理想はこのまま2人で暮らしたいですが、お金と多少の我慢を天秤にかけてみろと言われてしまいました。 私はどうするべきでしょうか？