近所の遊ばせたくない子

小２の娘が隣のマンションの小4の女の子と仲良くしていたのですが、その子が変わっていて正直遊ばせたくないです。
ご両親が共働きで平日も土日も夕方まで一人で居ることが多いようで、休みの日も年下の娘をしょっちゅう誘いに来ます。他にも近所の年下の子を誘ってるみたいです。
同じ学年の子と遊んいるのは見たことがありません。
外で遊んでるぶんには良かったのですが、たまに家に来るとずっと私に話しかけてきて「用事があってもう出かけるから」と何度も言ってるのにずっと話し掛けてきます。
決定的に遊ばせたくないと思ったのが、私がパートから帰ってきて昼寝していた時にピンポンが来てインターホンにその子が映っていたので居留守を使っていました。我が家で猫を買い始めたことを知ったようで、チャイムを何十回も押して最終的にドアノブを開けてきました。そして娘が居ないことを伝えると「猫に触れる？」と言い出しました。その時は「猫ちゃんがまだ赤ちゃんだからもう少し大きくなってからにしてね」と断ったのですが、その子がその後に公園で娘を見つけてきて、私が見てない間に娘が玄関で触らせました。小4で猫に触りたくてピンポン連打、断ったのにまた触りに来るってちょっと幼稚かな？と思います。
私ならもし娘が他所の家で同じことしたら叱ります。
私が考え過ぎでしょうか。
出来れば娘には遊んでほしくないのですが、小２の娘には伝えないほうが良いでしょうか。