深夜のクレーム

軽量鉄骨の集合住宅（４戸イチの）に住んでるものです。

お隣にお子様連れの若いご夫婦が引っ越してこられました。

ある日すごい騒音があり（普通のドタバタじゃなく地震のよう）
ちょうどその時体調悪く寝込んでたので「すいません、もうちょっと静かにしていただけませんか」と伺ったら旦那様＋お子様たくさん出てこられました

お隣の奥様が夜仕事に行きはじめ（週１～２程度）その間奥様の職場の友人（シングル）のお子様３人もお隣のご主人さんが見てあげてると
（推定）３歳～７歳が合計５人・・
その後は事情も事情だしドタバタも常識の範囲内の時間（夜１０時ころまで）だったのでクレームをいうこともなく。

しかし、先日PM１１時ころになってもドタバタと走り回ってる音が響いて「子供さん起きちゃった？ま、そのうち静かに・・」と思ってたのに
１２時、１２時半になってもドタバタ。

休日前ならまだしも翌日は普段の日。いつもなら１１時半ころ寝ています。

ウトウトしてもドタバタで目が覚め寝れず・・
結局１時前主人と一緒に訪問して
「すいません、明日の朝早いので…」と。

そのあとは静かになったのですが逆に「夜中の訪問は失礼だったかも、翌日管理会社にでも言えばよかった」「夜中うるさいのは今日だけだったかもしれないのに…心が狭い？」
など考えてしまって結局ほとんど寝れませんでした（笑）
（その時は睡魔が限界でかなりいらいらしてしまって、つい行動に出てしまいました）

※奥様が家にいらっしゃるときはお子様は静かです

うちにも子供はいますが子供が小さいときは借家で
騒音のクレームを言った事も言われた事もなく…

先に、こちらで相談すればよかったかな？と反省。
今更なんですがこういう場合どう対処するのがベストだったでしょう。お知恵を貸してください。