義実家と家を離れて建てたい

20代公務員夫婦、子ども0歳1人です。 義理の家との関係で悩んでいます。 昨年1月に妊娠、結婚、9月に出産しました。 悩みは、義母と義姉です。 【義母】 •助けてあげるから家の近くに住め （今住んでいるアパートを決める際に、私たちの通勤を考え義理の実家からは車で15分ほどの距離のところに賃貸アパートを考えていたのですが、義母1人が「何かあった時にすぐにいけない！」と猛反対。夫もかなり説得をしてくれたのですが、籍を入れる前だったので揉めたくないと思い、義理の家から徒歩5分のアパートに泣く泣く決まりました。） •孫フィーバー （子供が生まれ、週3日家にくる。夫が夜勤のある仕事なのでその時に沐浴等の手伝いをしたいと。たまにご飯なども持ってきてくれるので助かっているところもあるが、日数が多い） •何に対しても干渉的 【義姉】 •わたしが悪阻や臨月でしんどい時に夫を飲みに誘い、終電まで帰さない。 （そもそも夫行くなよ、ですが元々よく飲みいってたので仕方なく許可。早く帰ろうと夫は言うのに、今日くらいいいやんと連れ回す） •付き合っている時も、夫（当時は彼氏）がきちんと連絡をしてなかったら私に連絡が来てわたしに説教 ここに書いたのはほんの少しです。 子供も生まれたので家を建てようと考えているのですが、向こうから土地や家を勧めてきます。それも家の真裏とか同じ校区。 義姉が今年の春に自分の実家の裏に家を建てるので近隣に勢ぞろいで暮らすことになります。保育園も校区も同じにしたいみたいです。（助け合えるから） 義母義姉、子供は可愛がってくれておりありがたい時もあります。私の実家は遠方なのですぐに助けてもらえる距離ではありません。しかし、家だけは離れて建てたいと思っています。 夫がきちんと話をする、と言っていますが… 同じような状況で離れて建てられた方、ご意見や方法をご教示ください。