主人の実家への帰省辞退は、どう思いますか？

３０代前半、子供３人（小１、年少、乳児）です。 主人の実家が高速を使って２時間弱のところにあります。 気軽に行ける距離ではないので、年に年末・ＧＷ・夏休み＋１回程度帰省しています。 いつも２～３泊はさせてもらいます。 部屋は３ＬＤＫのマンションです。 義両親宅から車で２０分足らずの市内に義弟家族（現在４人家族）が住んでいます。 普段から週末に泊まりで遊びに来ているようで、私たちが行く時にも一緒に泊まります。 その義両親の家に、義姉が４人の子供を連れて昨年秋頃に出戻ってきました。 夫婦二人暮らしだった家が、一気に七人暮らしになりました。 義姉家族が一緒に住むと分かった時点で、前みたいに気軽には規制できなくなるね、と主人と話したことがあります。 昨年末は、我が家に３人目が生まれ、義両親以外にはまだ顔を合わせていなかったため、 迷った末に２泊３日で帰省しました。 その時も当然のように義弟家族も泊まりました。 合計１６人です。 食事・洗濯・トイレ・お風呂…何もかもが定員オーバーです。 この夏、また主人が帰省を考えています。 離れていて普段会えない親友達に会えることも楽しみにしています。 主人もお義母さんが大変なのは承知していますが、ケチな人なのであえて近くにホテルを取るなどは全く考えていません。 せめて義弟夫婦が、私たちが行くときは食事はともかく宿泊は遠慮して近くにある家に戻ってくれれば…と思いますが、 今までのことを考えると１００％その確率はありません。 子供たちは久しぶりに祖父母やいとこに会えることを楽しみにしています。 なので、私と３人目の乳児のみ帰省を辞退しようかと考えています。 主人、義両親、また義姉弟の立場から、私の行動はどう思いますか？ 主人にはお義母さんが大変だから、と正直に伝えるつもりですが。