私がおかしい！？

初めて投稿します。どうしても腑に落ちず皆様のご意見をお聞きしたいと思いました。

実は先日上階の方から騒音について苦情がきました（２回目です）
うちは小１娘と年少息子がいます。
子供たちは布製のボールを蹴ってサッカーをしたり、プラスチックのボール＆クラブでゴルフをしたりします。
サッカーは布製のボールなので壁に当たっても音は静かなのですが走り回って（小走りです）うるさいです。
ゴルフは走り回る音はしませんがプラのボールなので壁に当たると結構な音が出てうるさいと思います。
なので私は再三やめるように言っているのですが
主人は「子供が遊んで何が悪い」と聞き入れません。
上階から２回目の苦情がきたことも言いましたが
「だったら上の部屋にいれてもらってどのくらいうるさいのか確かめてみろ」と言われました。

半年ほど前１回目の苦情が来た時は主人が対応し謝罪していたんですが・・・

上記以外でもうるさいと思った時私はうるさいからやめなさい！と怒りますが
土日など主人はいたとしてもうるさいからやめなさい！等と言ったことがありません。逆に一緒になってやってます

平日は学校と幼稚園にいってますので騒がしくなるのは１５時以降であり、夜は２１時には布団に入るようにしています

確かに主人の言うよう子供なんだから多少仕方ないという気持ちもありますが
（そんな尋常ではない時間に大騒ぎしているわけではないと思うので）
でもやっぱりうるさいと苦情がきた以上今の生活を改めるべきだと思うと主人に話したところ口論になりました。

主人は
お互い様なんだから子供がいる以上うるさくなるのは仕方ない
上からの音だって全くないわけじゃなくうちだって我慢している
そんなに意識して生活しなきゃならないのか←生活音レベルだと思ってるんでしょう
という感じです