子供が何歳になるまで外遊びに同伴しますか

マンション住まいの２児の母です。
小２男児と年少女児がいます。

外遊びに関してですが、ご意見お聞かせください。

長男は小１三学期から、親なしで外で遊ばせるようになりました。
３歳の娘も外に出たがりますので、当然それには私もついていきます。
他のご家庭のお子さんも多数、外で遊んでいますが子供のみで遊んでいます。

他のお子さんに関しては目の届く範囲で、何か危ない場面などでは注意をしています。マンションなのでエレベーターで高層階に行かないよう、特に気を付けてます。

その場にいる子供の一部で、何かあるたびにうちの子のせいにする兄弟がいます。お母様は何も言ってこられないので私も言わせておいている状態です。でもこの間、その兄弟の一人が蹴った石が居住者の車に当たったそうです。私は見ておらず、息子が後で言ってきました。息子は車の持ち主に言おうよと、言ってきましたが「言わなくていい」と、言いました。
息子はどうして？と言ってましたが、関係ないことに首を突っ込みたくないのが本音でした。
そして蹴った方の子供が何を言い出すかわからない、そこの両親共に非を認めない方達です。(以前に、上級生に子供が注意され逆切れしてその相手のお子さんを泣くまで責めました。うちの子は聞き分けがいいから、という事をよく言います。)

でも、私も息子の話を聞いただけですしここは聞かなかったことにしたい。
いつも私も外に出てるので、こういう場面になった時うちには関係ないのに面倒だなと、思ってしまいます。間違ってますか。
私が出ていって、双方の方に言うべきだったでしょうか。

娘はまだ３歳なので、同伴しないという選択肢はないと思いますが他の方が出てこられないということは私の考えは少数派なのでしょうか。
昔は確かに子供だけで遊んでいましたが・・・。