近所のこどもとの遊び方について

９月に家を建て越しました。
近所に小学生のお姉ちゃんと年中の男の子の兄弟がいます。
私が庭の掃除をしたりしている間にもうすぐ３歳になる娘をそばであそばせていたのですが、そのときに知り合い遊ぶようになりました。
家の前の道は車はほとんど通りません。
私も息子を道路で遊ばせていたので文句を言えない立場ですが、その兄弟の遊びが激しく（自転車をすごい勢いで乗り回すなど）、また、頻繁に遊ばなくてはいけなくなり、疲れてしまってきました。
外にでたら見つかって遊ばなくてはいけなくなるから出たくなくなり、家の中にいても外から声をかけられるのでビクビクします。
今日は～だから遊べないと断っても、僕は遊びたいとついてきます。
道路で遊ぶのは良くないと色々なサイトで読み、近くに公園があるので息子と遊びに行くと、その兄弟も一緒に来ます。
親はいつもでてこないです。
公園は遊具もあって危険だし、遊びが激しいので息子の相手より、兄弟の相手をしなくてはいけなくなり面倒です。
姉は習い事をしているのでいないこともあり、弟だけが遊んでいても親はでてきません。
まだ小学生にもなってないこを一人で遊ばせるのは普通なんでしょうか？
家の前で遊ばせるほうが気が楽なのですが・・

うちの娘も遊べるのは楽しく喜んでいるので遊ばない！ともできず困っています。

小学生と年中の兄弟の親からしてみれば「うちのこはこどもだけで遊べる」
と思っていますよね。
となると、私が出ているのは３歳になる娘のためであって、うちには関係ないと思っていますよね？

今まで通り、私がまとめて面倒をみていくのが近所付き合いをうまくやっていくにも良いのでしょうか？

同じような方、どうしていますか？