隣人の被害妄想で、困った！！

マンションのお隣、お子さん３人がどんなに騒いでいてもいつも窓は開けっ放し、布団たたきは激しく長く等と周りに配慮できない家庭。でも自分ではとても周りに気を遣って暮らしていると思っていて、少しでも苦情が来ると、これ以上我慢して暮らせない！と逆切れします。私は、そんな方に何を言っても仕方ないと思い、こちらで防音を整え暮らしていますが、近隣の方が苦情の匿名の手紙を投函したり、管理組合に訴えたり、あまりにうるさい時に壁か天井を叩いて抗議しています。そのお隣がそういうクレームのいくつかを私がしていると勝手に思いこんで、こちらに嫌がらせをするのです。友達といる時に指を指してアレがウットウシイ人よと言ってきたり、子供に「おばはん、うるさいうるさいて言うな。」と言わせてみたり。うちが何かでコンという物音でも立てれば、５倍返しぐらいでゴンゴンされます。旦那さんはヤ○ザ風の人で、最近はじっとねめつけてきます。こんな方と今後おつきあいをしたいわけではないのですが、近所での風聞もありますし、妄想の逆恨みが怖いので誤解を解きたいのですが、何か良い方法があるでしょうか。