子供がらみのご近所付き合い

私には小3の娘と年長の息子がいます。先日から今まで遊んでいなかった近所の男の子（小３）とうちの子供たちが遊ぶようになりました。 最初は「友達が出来てよかった」くらいに思っていたのですが、その男の子が結構やんちゃというか問題児というか。 家に遊びに来たとき、時間になったので帰そうとしても帰ろうとしない、ご近所の敷地に平気で入る、人の敷地を近道として利用している、他人の家の庭にあったボールなどを勝手に使い、使い終わったらそこらへんの道路へ放置、年長の息子を川のほうへ誘い川に落ちたボールを取らせる、ボスが子分に指示するような言葉使い、そこらへんにおしっこする、娘が言うにはうちの車にボールをぶつけていたそうで娘が注意しても聞かないなどです。 ある日、勝手にボールを使われていたお母さんと話す機会があってすべてを話したら「ある日家に帰ってきたら、その子と一緒に〇〇くん（息子）も勝手に使っていた所をみたよ」と言われました。私はいつも口すっぱくやったらいけないことを言っています。もちろん人のお家に勝手に入らない、人のものを勝手に使わないとも。 ですが、息子は調子に乗る所があって、その子が取って使っているから、息子も使いたくなって借りていた所をその家のお母さんが見たのだと思います。私は謝罪しました。そのお母さんから「○○くん（息子）に人の家のものを勝手にとらないように注意しててもらえるかな？」と言われました。息子が勝手に使ったのは事実なので謝りました。でも息子がとったのではなく息子が子分っぽくなっててたまたま使用した感じなのですが。 そして「私は〇〇くんが悪いことをしたら遠慮なく怒るからね」と言われました。悪い事をしたら怒ってもらってもいいのですが私の息子が『悪い子』というレッテルを貼られたような感じでショックです。少し誤解が生じているみたいなのでまた掘り返して話をしたほうがいいものでしょうか？