これは私のワガママでしょうか。

現在、主人と5ヶ月の娘と暮らしています。 主人の実家は都内の高級住宅街にそれなりに広い土地を持っています。 同じ敷地の中に祖父夫婦と兄夫婦が二世帯で暮らしていて、ご両親、叔母もいますが、ゆくゆくは私達が二世帯を建てて、ご両親と住むようにしなければいけないと結婚してから言われました。 なぜそこまで親族で集まって住む事になっているかというと、その高級住宅街の土地を守っていく為だそうです。 確かに大変いい環境の中にあるとは思います。 しかし相続税、固定資産税を払う為に親族で分割して払ってまで守っていく土地なのか分かりません。 私から見るとその土地を守る為にかなり切り詰めた生活を皆さんしているようです。 私はできれば主人の実家には戻りたくないと思っています。 理由は祖母が大変厳しい人で、私のやることなすことに気に食わないようで、娘もあまり可愛がってくれません。 また兄嫁はとても冷たい人で、挨拶をしてもまともに返事をしてくれないような人です。そんな環境の中でこれからやっていけるかとても不安を感じています。 現在、住んでいるマンションも子供が生まれてから半強制的に主人の実家の近くに祖母に連れてこられました。 マンションも勝手に決められたんですが、陽の当たらない部屋の上、とても古くてカビ臭く、普通だったら選ばないようなマンションですが、「いいマンション見つけてやった！」と恩着せがましく言われます。 今回の引っ越しも最後まで主人に嫌だと反対しましたが、主人もわかってくれませんでした。むしろ主人は実家に戻りたいとまで言っています。 これは私の単なる我侭なのでしょうか。もうわからなくなってしまいました。主人の実家に戻っても、主人は私の事を守ってくれるような人ではありません。これからが不安でしょうがないです。 よろしくお願いします。