同じ敷地内の親族関係

夫の実家には70歳近い父親が1人で暮らしています。母親は他界していて父親が1人暮らしです。夫の弟は早く結婚し、実家の敷地内に家を建てました。私達夫婦は、その後、結婚しました。現在アパートに住んでいます。不妊治療をし、娘にも恵まれました。 夫は実家を壊して、家を建て、父親と暮らしたいと考えています。私は金銭的な事を考えたら、実家の土地に建てた方が良いと思ってはいるのですが、すぐ隣が弟夫婦の家というのがとても気になってしまい、建てる気持ちにはなりません。干渉しあったり、嫁同士で比べあったり、こども同士で比べあったり(子供同い年)するのではないかと想像してしまいます。同じように弟夫婦の奥さんも嫌ではないのかと想像してしまいます。父親とは関係が良好で、一緒に住めるのではないかと考えています。一生の事だと思うと、モヤモヤがあったまま決めて良いものか決断することができません。違う土地購入も考えているのですが 金銭的な負担 父親の淋しさを考えると、購入もためらってしまいます。同じ又近いような経験がある方がいたら意見を伺いたいです。よろしくお願いします