近所の超非常識オヤジ

半年前、分譲地に一戸建ての家を建て、引っ越してきました。向かいの土地には公園が出来ると住宅メーカー（土地の売主でもある）に聞いていましたが、売土地として買い手がついていました。それを知ったのは、家の引渡し１週間前でした。その向かいの土地の所有者のオヤジが超非常識で困っています。オヤジは別な所に住んでいる家があるのにも関わらず、毎日やって来ます。家を建てるわけでもなく、自分でショベルカーを運転して整地したり、分譲地内にある桜の木を勝手に伐採して燃やしたり、ラジオを大音量でかけたり、飼い犬を置き去りにし、時には虐待しています。酔っ払っていると最悪で奇声を上げます。一連の行動は、朝５時半頃から行われ、時には敷地内にある物置に寝泊りしています。上半身裸でウロウロしている時もあります。このことに我が家だけでなく、近所（まだ３軒しかありません）の方も困っていて、町内会長に相談しましたが、当事者でやってくれと言われました。警察や市役所もこのオヤジのことは知っているようですが、動いてくれません。毎日が苦痛で、気がおかしくなりそうです。 こういう場合、どこへ相談したらよいのでしょうか？