義実家の土地、敷地内同居

旦那私子供3人の5人暮らしです。 1番上の子が来年小学生になるので、家を建てようと旦那と話し合っています。 元々、旦那の実家の土地が広いためそこに建てる予定でいました。 実家には　義祖母、義父義母、義弟が住んでいます。(みんな当時は了承してました。) 実家は二世帯です。 今の母屋を取り壊し義父たちの住む小さな家を別で建てる予定でした。(義弟はアパートへ一人暮らしになります。) しかし、建てようと思うから壊すよと旦那が実家の方へ相談に行くと 義祖母が自分のところは壊さないでと言ってきたそうです。 旦那は、義祖母の方は壊さない方向で考えてるみたいなのですが、私は納得がいきません 広い土地なので、少し大きめな家を建てようという事も、その土地に家が三軒となると無理な気もするし、、せっかくの理想のマイホームができない様な気がしてしまいます、、 旦那にも言おうと思っているのですが、話す時間までモヤモヤしてしまいここへ書き込んでしまいました。