帰省した家族は子守なの？

38歳主婦、中2と小6の子供と夫と夫の実家から車で6時間のところに住んで
います。今回の帰省でちょっと？という感じがしたので愚痴らせて下さい。
帰省するたびに義弟が子供二人（小学生）をよこします。今までは義弟も
一緒にいたり、上の子を残したりもしましたが泊りはありませんでした。
今年は私たちの帰省の日は義弟も奥さんも仕事ということで、子供二人だけ
が来ました。下の子はその日にお迎え、上の子は2泊。私たちは3泊したので
結果ほぼいた状態。しかも今回を含め滞在の相談は義母にだけで、
私たちにはありません。
義弟にしてみたら、義母に預けているつもりでしょうが、我が家の子供と
いるので面倒をみるのは私。夫は忙しい中休みを取り、長時間運転をして
帰省、子供は部活なしの貴重な時間を子守でほぼ占められました。
その子はかまってちゃんなので、だんだんそれに疲れた子供たちに
買い物に行こうか？という問うと「一緒だとより疲れるから、出かけなく
ていい」と言いました。
帰省は義母が日ごろできない（義父は他界）仕事を片づけたり、義母に
かわって家事やそうじをしているのに遊びに来ていると思われているのか、だから子供を置いて行くのかと今回なんだか急に頭に来てしまいました。
休みを取って旅行に行った、どこに行ったという話を義弟から聞くたび、
帰省がなければ、私たちも旅行に行けるのよ、と何だか悔しくなりました。

夫婦ともに実家が近いと、帰省に対する考えが違うのかな？次回からはスケジュールと「この日は家族で出かけます」と事前にメールでもしよう、
家族、兄弟でも考え方や何を常識にするのか違うのだと痛切に感じました。

同じ思いをされた方、こうやって回避しているというご意見があれば
お聞かせください。