隣人について

隣人からの連日訪問に悩まされています。
隣人のDIYのような音が部屋中に響き、窓枠もミシミシ言うような状態だったので、管理会社に話をしました。
管理会社による他住人からの聞き取りの結果、騒音のある状況であるとのことで、皆さん気をつけるようにとのお知らせを全住人に配布してくれました。
そのあたりから、隣人がうちを頻繁に訪ねてくるようになりました。
一番最初は、チャイム連打＋ドア叩きがあったので応対すると「騒音はあなたですよね。直接話しましょう」と言われました。苦情元がうちだとはっきりはわかっていないようでしたが、とにかく直接話しましょうの一点張りで恐怖でした。インターホンが途中で切れたらいなくなっていたので、その日はそれで終わりました。
しかしそれから数週間後、隣人のチャイム連打訪問が再開しました。訪ねてくる間隔は、週末の朝1時間です。最初のやりとりがあったので居留守していましたが、収まる様子がありません。1時間我慢すれば終わるのですが、その間身動きとれないのでストレスです。
無視せずインターホン越しでも一応出た方がいいのか、それとも無視し続けたほうがいいのか‥ご意見を伺いたいです。