近所の子と遊ばせたくない

パジャマのままで遊んだり
よその家の玄関前で砂遊びをしたり（砂をわざわざ自分の家から運んできます）
使ったおもちゃは道路でも平気で置きっぱなし
その他いろいろありますが、とにかく躾がなっていないと一目でわかる子がいます
一人っ子の未就学児ですが、遊んでいる時に親の姿はありません

その子（Ａ）が一人でいる時には徹底的に遊ばせないようにしているのですが
（うちの子もさほど興味なさそう）
Ａが遊んでいると、他の子（2～3人親なし）がやって来て、一緒に遊んでいる時があります
キャッキャとした声が聞こえてくると、さすがにうちの子も気になるようで、一緒に遊びたがります

ただ、親の心境としては、あまり積極的に関わらせたくないです
しかし、Ａと遊ばせている他の親は気にならないのかなあと思うと
自分が神経質なだけなのか悩みます

ちなみにＡに注意（ここで遊ばないでね、とか）すると、怒り出し
うちの子に手を出そうとしたことがあるので、注意してあげようという気持ちは毛頭ありません
また、他の家の親がいないのに私が見ていたら、変に安心されても困るなと思っています
（ちなみに親は出かけているとかではなく、家にいるのに放置です）

みなさんなら、こんな状況下で子供が遊びたいと言ったら遊ばせますか？
また、我慢させる場合は何と言って我慢させますか？