働く母、ご近所付き合いを今後どうしたら？

3歳男児と夫との3人家族、フルタイム兼業主婦です。
今年マンションを購入しました。
マンションには同い年のお子さんがいるお宅が3軒あります。
3軒共、働いていないお母さん方で、みんな男の子なのでよく一緒に遊んでいるようです。
うちは参加できませんが、他に保育園のお友達もいるし、会えば挨拶する程度で今までトラブルなく過ごしてきたつもりでした。

ここに入居してすぐ気づいたのですが、夜遅い時間帯に、頻繁に子どもの泣き声や騒ぎ声が聞こえます。決まったお宅からという訳ではなく、前述した同い年のお子さんがいるお宅の1軒からも夜中に泣き声や足音がしています。（うちの真上なので、一番良く分かります）もっと赤ちゃんのような泣き声もします。
今まではうちもご迷惑をおかけしているだろうし、お互い様、と気にしていませんでした。
それが、先日平日に自宅にいたところ、上のお宅から前述の3軒のお母さん達の話し声がし、「下の家、本当うるさいんだよね～」と。もしかしてうちのことか？と思い、悪いと思いながらも話を聞いてしまいました。

その内容が、「毎晩子どもの泣き声がうるさい」「働いているから、イライラして子どもに八つ当たりしているんだろう」「無理して家買うからだ、みっともない」というものでした…

正直言って、心外です。子どもは土日でも遅くとも10時には寝ており、夜泣きもありません。叱るときに泣くことはありますが、窓を閉めています。
うちもお互い様、と思って何も思っていなかったのに、働いているからというだけで（しかも毎晩の泣き声等、誤解と思われる内容）こんなに悪く言われてしまうのか、とショックも受けています。

話を聞いたわたしも悪いと思いますが、普段居ない間にこう陰口を叩かれているのかと思うと、この先付き合いも長いのに、どう接していったら良いか悩んでしまい、みなさんにご意見をいただけたらと思います。