夫の実家の同居を拒んでいます。

夫の実家は都内の高級住宅地の中にそれなりに広い敷地を持っています。

結婚して5年になりますが、その実家に戻れと言われています。
しかし私は行きたくないと反対して、夫と意見が割れています。
反対する理由としては
1 その敷地内に夫の祖父母夫婦、叔母、ご両親、兄夫婦の4世帯が既に住んでいます。
2 その敷地に戻る一番の理由はその土地を守る為、みんなで相続税、固定資産税を分担して払う為です。
3祖母が大変厳しい方で私のことをよく思っていません。また兄嫁もとても冷たい方で挨拶してもまともに返事をしてくれたことがありません。
45ヶ月になる赤ちゃんがいるため、自分の実家に近いところにマンションが欲しいと考えています。

こういった理由でその敷地に引っ越すことをためらっています。
みんなで切り詰めた生活をしてまでその土地を守っていくのはどうなんでしょうか。
そもそも夫と私でその敷地内で二世帯住宅を建てて、ご両親と住むと決められていました。二世帯住宅のお金は私達の夫婦が出します。

この話で夫と意見が割れ、大変険悪になっています。
もしかして結婚前にこの話があったら、結婚をやめていたかもしれません。

単なる私のわがままでしょうか。
夫の実家の土地を守っていく為に嫁に行ったわけではありませんし、
これからそのために働かないといけないと思うと、悲しくなってきます。

ぜひご意見を聞かせてください。
よろしくお願いします。