敷地内同居が不安

結婚１０年目、小学生低学年の息子が２人いるパート主婦です。現在は夫実家から車で20分の距離のアパートに住んでいます。この度、敷地内同居を義父母より提案され、不安になっています。もともと、義母が苦手なので上手くいくか心配で踏み切れません。義母は世話好きで干渉してくる事、「はい」と言うまで諦めない性格です。現在のアパートも義母と決め、家具も義母と買いに行きました。もちろん子供の事も色々言います。夫は三男で、長男、次男は既に敷地内に家を建てていますが、土地がまだあるためそこに建てるように言われています。一昨年、私の父が亡くなったので、私の実家の方へ行かないかなどの不安もあるのかもしれません。私の実家へは車で５時間の距離で、土地もないのでそちらに移り住む予定はありません。子供が生まれてからは、週に三日、朝晩義母にアポなし訪問をされ、夫に来る前には電話をして欲しい事、訪問回数を減らして欲しい事を何度か伝えてもらいましたが、２週間もすればもとに戻り現在に至っています。いっそ遠くに引っ越してしまいたいと思っている位なのに、敷地内同居の話が出てきて動揺しています。義母は３兄弟を近くにおいて、どの孫も平等にかわいがりたいと思っているようです。義兄夫婦の家の建築の際も、義母は間取りに口を出し、カーテンを勝手に注文し、毎日建築現場に顔を出して、細かい傷がついている所に付箋を貼っていたのを兄嫁から聞いている為、家も自分達の思うような家は建てられないと思います。ここまで義母の愚痴になってしまいましたが、土地代が浮く事と、援助を800万程してくれるとの事ですので金銭的には楽になる事があり迷っています。でも結婚して10年、自由を感じた事がなく常に義母の事が頭の隅にあるので、貧乏でも自由を取った方がいいのかとも思います。今は考えがまとまりません。ご意見お願いいたします