子供を利用して悪口を流す親に迷惑しています

マンションの三階角部屋で一人暮しをしています。下人が引っ越してきたのが四年程前。夜中迄子供を走り回らせ大声をだし、近所中で「常識のない夫婦が越してきた」と苦情が出て不動産からも「どうですか？」と聞かれましたが……私は関わりたくなく「家に居ないことが多くて解りません」と答えていました。
外で会い挨拶しても奥さんは私を無視。私が家に帰ると子供に「帰ってきてうるさい、でてけー」とベランダや玄関で叫ばせる始末。それでも馬鹿馬鹿しく、ほってました。が、半年ほど前に一階の人が出ていき、こちらへの嫌がらせが酷くなりました。旦那さんは知らない様子なので、旦那さんの居るときに声が聞こえた時、床をドンと叩くようにしました。「そちらの音もこんなに聞こえているんですよ？」と知ってもらうためです。それで夜中の騒音は減りましたが、今度は私に意地悪されると悪口を言いふらす始末。
専業主婦で暇なため道路族のボスで、近所の一戸建ての人も妬まれて困ってますが、引っ越した人や私にしてる嫌がらせを見て怖く仲良くしているそうです。近所に悪口を流し追い出したいようですが、私は引っ越したりしません!!その家族以外は良い人ばかりなので。