同じ団地内に新居

現在結婚2年、1歳になる息子と旦那の実家で暮らしています。 結婚当初は金銭的な余裕がなく、あくまで数年間お世話になる予定で義実家に住まわせてもらい、息子が小学生に上がる前までにはマイホームを持とうと旦那と話しているところです。 しかし、そのマイホームを建てる場所を義両親と旦那は当たり前かのように同じ団地内と考えています。 義両親とも関係は良好ですし非常に良くして頂いてるのもわかってはいるのですが、旦那は1人息子。初孫もひどく可愛がっているので世話を焼きすぎなところもあります。同時に旦那も親離れができていないように見えます。 そうなると3人で住みはじめても結局生活に干渉されたり、こちらからも頻繁に顔を出したりと考えるだけでも億劫です。言い過ぎかもしれませんが、敷地内同居と何ら変わりありません。 また、義両親はかつて町内会長なども務められているので近所の方との関わりもあり、新居には確実に地域の目もついてきます。 私はあくまで彼の両親とは赤の他人ですし、できることなら必要以上に関わりたくないです。 しかし、今住んでる団地は ・息子の保育園や将来通う小学校もさほど遠くない ・買い物や生活には非常に便利な場所 ・旦那の勤務地も遠くない（私は多少離れてます） ・土地代なども程々の値段 とメリットも多いため旦那もこれがベストだと思い込んでるようですし、義両親も勧めているようです。 このメリットに関しては私も非常に魅力的だと思っていますが… 改めてですが、義実家にはお世話になってるし決して嫌いということではありません。 余計に面と向かって旦那にも「義両親と近くには住みたくない」とも言えず、どうしようかと悩んでます。 （元々私の性格が、人にハッキリと物事を伝えるのが苦手なのもあります…） どのように伝えるべきかなど、アドバイスありましたらよろしくお願いします。