敷地内同居、義母と関わりたくない。

こんにちは。
敷地内同居について悩んでます。結婚して9年目、夫（33）私（30）息子（8）娘（5）の四人家族です。夫は両親と酪農を営んでおり、現在敷地内同居です。暮らし始めて義母の言葉や行動に疑問を感じることは度々ありましたが、義母と仲良くしていきたかったため、それらは流すようにしていました。 しかし孫の母親面をするようなことやほぼ毎日のメールや電話、孫に会うための訪問など、口出し手出しに嫌気がさし…構わないでほしいということを夫とともに伝えました。しかしあまり効果はなく、最近は子どもが短時間の留守番をしている間に勝手に家にあがっていたり（後でこどもと話したときにわかる）在宅なのか様子をこそこそ見に来たり、出掛ける時に義母が家の窓からじっとみていたり… こんな監視されてるような生活が嫌で嫌で、町内へ引越したい気持ちが強いです。引っ越せばローン完済まで二軒分の家賃を払うことになりますが、共働きで生活はしていけると思うのですが…夫は「マイホームを建てたのに贅沢じゃないか」といいます。確かに敷地内同居とはいえマイホーム。私もわがままとは思いますが、このまま我慢するしかないでしょうか…？