敷地内同居の悩み

夫と小5の娘との3人家族で、夫の実家と敷地内同居をしています。 夫は3人兄弟の長男で、次男三男は徒歩圏内に住んでいます。 悩みは、次男家族のことです。 次男夫婦は小学校低学年を筆頭に保育園まで3人の子供が居ます。共働きで、奥さんは週3でパートをしています。 奥さんが仕事の日には必ず義両親が子供達のお迎えに行き、実家で夕飯など済ませます。 また、休日は必ず次男家族は実家で過ごし、夕飯や、時には子供達をお風呂に入れて帰っています。 最近は、奥さんの仕事終わりが早かったり、仕事が休みの日にも実家に寄って、夕飯を食べています。 私達は土日のどちらかには実家で夕飯をいただいています。 次男家族が実家を頼ることについては私がとやかくいうよりことではないのですが、問題は、子供達がすぐうちにやって来ることです。 娘も時間がある時には遊んだりしていますが、平日の17時半以降に遊ぶと言ってやってくるのです。 そんな時、次男の奥さんは実家の中に居ることもあり、子供達がこちらに来ることは容認しているようです。 同じような環境にある方がいらっしゃいましたら、いい解決策など教えていただけると幸いです。