階下からの騒音苦情で困っています

困って投稿しました。
築40年前後の団地に家族4人で住んでいます。
子どもは2歳半と1歳です。
住み始めて6年ですが、今年になって階下の方から頻繁に騒音苦情が来るようになりました。
子どもにはドンドンしちゃ迷惑だよと注意をしてやめさせていますが、全てやめさせるのは難しい状況です。
物理的に出さないというのは無理な状況なので、毎日出かけ、夜は実家に行ってます。
家には寝に帰ってるような毎日です。（平日昼間にも苦情を言われた為）
それでも日曜の夜など、夜6時に帰ってきてご飯支度をしていたら1時間もたたず、苦情を言いにきました。
夜中でもリモコンを落としただけで、ピンポン鳴らしての苦情。
子どもが夜中に起きてしまい大変な思いをしました。

団地はペット禁止ですが、階下の人は犬を飼っていて無駄吠えをするので苦情を言うと「（自分の犬の吠え声より）お前の体形の方が不愉快だ」
と、私を指差して言ったり、
「子どもの泣き声のほうがうるさい」と、言われてうけつけません。
主人の若干薄い頭を見て「タコ」「ハゲ」の連発。どうも酒を飲んでるらしく、絡んでいる感じです。
「今度うるさくしたらただじゃおかない」と、何度も大騒ぎしていました。

階下は50～60代くらいのご夫婦と息子さんが住んでいます。
息子さんを3人も育てたとの事ですが、息子さんは3人とも家の中を走ったことはないそうです。
いつも、苦情を言われると、穏便にすませたいので、理不尽だと思いつつも音はだしているので、謝ってきましたが、精神的に限界です。
最近は下の階のドアが開く音だけでビクビクします。
苦情を言われた後は呼吸が浅く苦しくなってきました。

何かいいお知恵があれば、教えてください。
よろしくおねがいします。