義弟家族が帰省で泊まりに来すぎる

私、夫、息子(5歳)、娘(1歳)、は義父母と同居してます。
同居ですが一階と二階である程度世帯分離しており良い距離で付き合えていますし、子供達もおじいちゃんおばあちゃんに懐いています。

しかし義弟一家が頻繁に来るため、困っています。
自転車で15分、駅2つ分の近い距離にすむ義弟・義妹・姪(3歳)が月1の頻度で遊びに来ます。遊びに来るだけでなく、連休や年始年末などは2-3泊することも。その間、下の子は姪や義弟の出す音でお昼寝を邪魔されて泣き怒り、上の子はいつもの遊び場を使えず不機嫌に。仕方がないので体調が悪くても外に連れ出すしかありません。

義妹がどう思っているかわかりませんが、最近挨拶すらしてきません。最初は特段仲が悪かったわけでもありませんが、話が合わないのでお互い不干渉です。私も最近はもてなすのは辛くなり、「いらっしゃい」とは言いますが、それ以上関わらないようにしています。夫は自分の弟と多少趣味の話などをしたいようです。
義弟夫婦にとっては実家に遊びに来て据え膳上げ膳の帰省、私たち家族にとってはひたすら我慢の数日、年に数回だとしたら許容すべきなのでしょうか？

ちなみに息子は従妹である姪とは遊びたがりますが、年の差があるため大体途中でイヤになり「もう帰って！」などと泣き叫びます。姪が帰ったあと不機嫌になるし、子供同士癇癪を起こし合うので、最近は義弟家族が来るときは外にお友達と遊ばせに出しています。真夏と真冬は辛いですが。

義母は義弟が可愛いのでもちろん何も言いません。夫も自分の家族なので少し我慢はするけど別に構わない、という感じです。
二人に不満を伝えても、全く聞いてくれません。

生活時間がめちゃくちゃになってしまうので、家が近いんだから泊まらずに帰ってくれ…といつも思ってしまいます。