転勤帰り。ご近所さんの悪口聞きたくないんです。

主人の転勤の任期も終わり、家族で自宅に戻る事が出来ました。 ただ・・・ 悩んでいることが一つあるのです。ご近所付き合いなんです。 わが家は新興住宅地の一軒家なのですが、いくつか離れたブロックに度々声かけしてくださる方がいます。 犬好きな方で、犬の散歩の途中に「可愛いね！」から始まり、 「ちょっと寄って行かない？」と声がけしてもらい、その頃から犬だけを我が家に迎えに来るようにもなりました（ヨーキーです） お断りしても「大丈夫よ」と強引に連れて行ってしまうんですね・・・。 そんな犬絡みのお付き合いから、だんだんご近所さんの悪口、文句を話されるようになってきました。 私自身ご近所さんとは波風立てたくなく、それなりのお付き合いをしたいので悪口に便乗、頷く事はありませんが延々に続くクレーム・・・ 転勤から戻って既に数か月経っているのですが、帰宅後のご挨拶はしていません。その方のブロックの前もなんとなく避けて犬の散歩をしています。 以前の様にまたご近所さんのクレームを聞かされたくないので、このまま悶々としてますがやり過ごそうか悩んでいます。 自分が優柔不断、八方美人なのもわかってます。 それでも何かアドバイスを頂くことができたら嬉しく思います。