騒音の相談先

近所に子供なし五十代後半夫婦が住んでます。 そのお宅で最近ドラムの音がうるさいのです。 土曜日は日付が日曜日に変わる夜中の１時過ぎまで、朝は６時前から叩いてました。 家も相手も一戸建てで大家さんなんていないので市役所や警察に相談してみたところ、当人通しで話し合ってくださいと言われました。 家は70代の母と40独身の私の二人暮らし、女だけなので、近所では軽んじられているような気がします。 直接注意すると相手は逆恨みしそうな性格の人です。 どうしたら円満に静かにしてもらえるでしょうか。