下の居住者からの苦情に困ってます

築５年程の１LDKアパートに夫婦で住んでいます。
下の人は30～40代の男性。
約半年前に下の部屋にこの方が引っ越してきてから苦情が続いています。
ご意見、アドバイスお願いします。

下の部屋に新しい人が引っ越してきてから、夜間(19時頃～）テレビや音楽の音が響くようになりました。
主人が週２～３日テレワークで20時過ぎまで仕事しているときはかなり気になったのですが、引っ越してきたばかりだし少し様子をみることに…。

しかし、うちが22時過ぎにクローゼットやチェストを開閉すると床を叩かれるようになりました。
意外と響くのかもと思いゆっくり開けるなどして気を付けるようにしましたが叩かれました。

テレビや音楽の件もあった為、管理会社に連絡をしてチラシを配ってもらいましたが効果はなかったので、ご本人に直接連絡してもらいました。

音は小さくなり床を叩かれることはなくなったのですが、今度は頻繁に管理会社を通してうるさいと苦情が来るようになってしまいました。

下の人は23時前には就寝するようで、片付けや掃除をしているような音で目が覚めてしまうと…
うちは主人が出社の日は帰りが22時過ぎになることも多いので、１時近くまで起きていることもありますが、夜間に掃除はしていませんし、大きな音も出したつもりもありません。叩かれてからは特に気を付けるようにしています。

管理会社の人も生活音への理解、生活時間の違い、こちらも極力気を付けていることを下の人に伝えてくれているようですが
苦情→うちに連絡→下の人に報告　の繰り返しです。

下の人もラチがあかないと思ったのか、同じことの繰り返しなので直接言いに行きます。
と連絡があったそうです。
直接の訪問は辞めるように伝えてくれるそうですが、こちらも対策のしようがないですし、どうしたらいいのか分かりません。引っ越すしかないのでしょうか？