子供の友達

小学校3年生の子供の友達についての相談です。
ここ3ヶ月ほど前から急に仲良くなったお友達がおり、週1から始まり今月では週4来ております。
向こうの自宅は友達は入れないらしく必然的に我が家になります。
初回から18時くらいまでいることもあった為、その都度は送れないことから17時には解散、週3までというルールもありましたが守られないこともありました。また学校から直接我が家に来ることもあり注意しましたが、鍵がない、との理由でそのまま来たりしていました。

向こうの保護者の連絡先は知らず、家も知りません。
ただ、放置子気味だなぁと気になっており、最近小学校の知り合いやママ友に聞いたところ、ご両親は過去に幼稚園や学校でも問題を起こしたりしていて周囲からは距離を置かれていると聞きました。

その事を聞き、なるべくお外で遊んでもらっていたのですが、つい先日家の軒先で子供が席を外した間にお友達に石で軒先に大きな字で〇〇消えろ!〇〇イヤ！などと書かれてしまいました。
子供が石を持って軒先に書いているのを見たようです。子供の知らない子の名前だったので一緒に書いたのでは無さそうでした。
はっきり見たのが一昨日で割と深く掘られており晴れの日にはとくに目立ちます。

友達のご両親に弁償等は望んでいませんし、こちらも現場を見たわけではないのでご連絡するつもりもありません。
ただもう関わりたくないのです。
夫は問題はあるが大人の都合で子供の友達を制限するのは可哀想、私が神経質なのでは？と言うのですが、
そのお友達のイタズラがエスカレートしても困ります。

子供にはもうしばらく遊ばないで欲しいことを理由と共に伝えましたが、ショックを受けているようでした。

私としては出禁にしたり、学校でのみ遊んだり関わったりして欲しいのですが神経質過ぎるのでしょうか？
ご意見頂けたらと思います。