姪の来訪について

現在結婚１年半目で義母を同居をしています。義母も夫もいい人なので同居自体に不満は殆ど無いのですが、夫の姪（義母にとって孫）が一寸辛いのです。
義妹が二人おり、それぞれ高校生と小学生姉妹の３人の姪がいます。遠慮してか半年に１，２度来る位ですが、私との同居以前は夏休みなどの長期休みに20日ほど泊まりに来たり、小学生の姉妹の方はピアノ教室が近いと言う事で一週間に一回来ていたようです。
彼女たちにとっては私なんかよりも長く親しんだ祖母と伯父の家であり彼女たちなりに私に気を使っていることは分かるのですが、自由気ままに家の中をウロウロされるのが辛いのです。
勿論私の部屋等には入ってきたりはありませんが、本を借りると夫の書斎に入ったり、怪我をしたから絆創膏を借りると薬箱の入ってる棚を開けたり、玩具の入っている納戸を開けられたり（一応どれも取って良いかとは聞いた上でですが）落ち着きません。特に小学生の下の子の方は部屋から部屋へとウロウロします。その他、勝手が分かっている行動を何故か辛く感じでしまいます。
ただ、こう考えてしまうことにも罪悪感があります。義母にとっては可愛い孫であり、独身が長かった夫にとっても娘のように可愛がってきた存在。
特に高校生の子は、父親と別居していた時期があったそうで、夫が父親代わりに遊びに連れて行ったり初孫と言う事で可愛がられていたらしく、そんな子が私に遠慮して殆どこれ無くなった事に悪いなあとも思うのです。
いっそ来訪時に私が買い物などで出かければお互い遠慮等が無いかなと思うのですが、それが良いのか悪いのかもよく分かりません。
別居などは考えておりません。
こういった悩みをお持ちの方はいらっしゃるのでしょうか？