悪口をいいふらす隣人への対応について

うちは８年ほど前に引っ越し、新築です。隣人の７０歳男性に悩まされています。
男性は最近退職し、実家である隣の家で週４日程過ごしています。あとは街にある自分の家に帰ります。去年、実家にいた高齢の母親が亡くなっています。奥さんはお葬式の時にきたくらいで、他、一回も来ていません。

男性とは挨拶、世間話ができる関係でしたが、うちの父とはあまり性格が合わず、いつも母が注意されていたようです。しかし、あちこちで父のことを聞いてきたり、言い触らしたりするので、こちらも反論すると、父が悪いからだ　と言われます。うちの父は確かに完璧ではないですが、そこまでひどいことを言われてきた覚えはありません。それを言うと、それはみんな言わないからだ　と返されました。
そこまで言うなら、父も改心するつもりでいますが、父のことだけではなく、近所の人のこと、あちこちのことを、自分のことは棚にあげて言っています。
こんな人って、どうなっていくのかなと思います。
反論して以後、男性はあまり私たちと顔を合わせないようにしているように思えます。庭にもほとんど出ていませんし。
私たち家族は、もう話をしても、自分を正当化するだけなので、話する気にもなりません。会えば挨拶くらいはするつもりです。
注意されたことは治してきましたが、それでも気に入らないようです。
確かに注意される方が悪いのですが、言いすぎると、後の関係が崩れませんかね。関係が崩れてでも、言いたかったのでしょうか。うちの母は、周りから、近所のおじさんが面倒そうで、大変だね、と言われるそうです。
トラブルをおこしたくないけど、悪口も言い触らされたくない。
どうすればいいのでしょうか。