私道で遊んでいる子供に注意をしました

こんにちは。２歳児がいるメゾピアノと申します。 共有の私道をそれぞれの戸建てでぐるりと囲んだ、１０数戸の小規模タウンハウスに住んでいます。 私道の幅も広く綺麗に舗装されているのでお子さんがいる家庭は、うちも含め時々家の前で遊ばせたりしています。 住民の皆さんもうちと同時期に入居しており顔見知りで、子供の顔と名前も全て把握しています。 しかし先日の昼間、聞いたことのない子供の声がするので外に出てみると、見知らぬ子供が二人。 一人はキックボードに乗った５、６歳くらいの男の子、もう一人はその子の妹らしき４歳くらいの子でした。 声をかけてみると、どうやら少し離れた所に最近越してきた子とのこと。タウンハウスの住民の知り合いでもなさそうでした。 「この道は、ここの人たちのものだから入っちゃだめよ」と注意してしまいました。 広めの私道とはいえ日中も住居者の車の出入りがある事、あと何となく嫌だなと思ったからです（キックボードで遊ぶ住民の子供はいない、保護者もいないのに家から離れたところまで遊びに来る点など）。 その日はその子たちはそのまま帰ってくれたのですが、少したった今、ちょっと意地悪だったかなとか、もしその子達の親が文句を言いに来たらどうしようと小心者の私は思ってしまいます。昼間自宅にいることが多いので。 無いとは思いますが、もしその親御さんが何か言ってきた場合、どうお答えするのが適切でしょうか。「私道だから申し訳ありません」で大丈夫でしょうか。このタウンハウスだけの自治会などはまだ無いので、わたしが代表ぶっても良いのかなと思ってしまいます。