木造住宅。下の階の人に嫌がらせをされています。

よくある悩みかもしれませんが…
ご近所トラブルで、下の階に住んでいる男性（50代）に毎日のように嫌がらせをされています。
正確に言うと、嫌がらせと言うよりアピールに近いかもしれませんが、段々と回数や度合いも増してきて、恐怖に感じてきています。

私は女性、母と2人暮らしで双方働いています。
働く時間はそれぞれまちまちで、夜中に帰ってくることもしばしばです。
2人共夜にお風呂に入るので、その音も響くのか…
会話もするのでそれも筒抜けだと思います。

咳、あくび、ため息、電気の点ける音、足音、トイレの音まで兎に角聞こえてくるので、こちらの音も丸聞こえなのは予想がつきます。

住み始めて1年ですが、半年程前から徐々にあくびなどで私達が会話をしている間「聞こえてるんだよ～」とアピールされているような感じはありました。
でも別に馬鹿笑いしている訳でも音楽を音量大で流している訳でも、どたどた歩くなんてこともしていません。
全て、、、静か～にしています。
でも今では、窓を蹴ったり？物を何回も落としたり？こちらが少し物音を立てる度にわざとやっているような、ガタンガタンドタンドタンしてきます。

黙ってパソコンに向かっている時でさえ、してきてたので初めはよく分かりませんでしたが、明らかに今では当て付けられています。
多分カチカチ言う音さえ響いているのだと思いますが、ここに来てノイローゼ気味になってきました。

向こうは1人暮らしなので話す相手もいないでしょうし、男性なので家事もしなさそうだからどたどたしないのでしょうが、こちらは会社の付き合いもあれば母との会話を少ない時間内で自宅で楽しみたいという気持ちもあります。
もはや抜き足差し足で幽霊の如く過ごす毎日に疲れました。
どうしたら良いのか…と言うより皆様もご経験ありますか？？