敷地内同居の義母について

主人の実家の敷地内に家を建てて、主人＋私＋1歳半の子供と暮らしている専業主婦です。敷地内に引っ越して1年が経ちますが、以下のことでストレスが溜まっていて、何か良いアドバイスなどあれば頂きたいと思っています。 ■毎日夕飯時に義母がアポなし訪問 時間帯は17時頃からやってきて、子供が夕飯を食べてる姿を見てから18時半頃に帰ります。（基本的に主人が仕事でいない日に来ます。）毎日どんな夕飯なのかも見られるし、最近は子供の遊び食べも始まり、義母が子供の隣でずっと食事の様子を見ているため、子供にしつけをしたくてもしにくい状況です。夕方〜夕飯時は忙しいので、訪問を避けて欲しいと主人からも何回か言ってもらっているのですが、まったく気にしない様子です。また、アポなし訪問も苦手な性格なので、私も外出していたり子供と寝ていることもあるので、事前に連絡を頂きたい旨を私から義母に伝えたこともあるのですが、敷地内同居で事前に連絡することは私の性格上絶対にしないから。と言われてしまいました。日中であれば居留守を使うこともありますが、夕方だと電気がついているため居留守を使うことも難しく、毎日我慢をしていたのですが、毎日夕飯時に義母がいることが本当にストレスで、主人も子供が落ち着いて食事が出来ないことを気にしていて、再度義母に夕飯時の訪問は避けて欲しいと伝えたのですが、もう行かないから！と逆ギレされたようです.... しかしまたしばらくしたら訪問してきそうな気がします。 私の感覚としては、別の家庭の夕飯時は家族団欒の時間のため、訪問を遠慮するか、せめて夕飯を食べる時間になったら帰るのが普通だと思っていました。たまになら孫が食事する姿を見たいんだなと思えますが、さすがに毎日は精神的にもキツいです。 皆さんどう思われますか？ ※週に1回、私と息子で義実家に顔を出して、息子と触れ合う時間も作っています。