子育てについて

９才，６才，３才の母です。
近所の３才、２才の兄弟ですが、母親があまり干渉しないので、日中も２人で外遊びをしています。
それだけなら私がとやかく言うことではないのですが、我が家の末っ子３才を誘いに来るのです。
いくら近所で遊ぶと言っても駐車場だし、３才の子を子どもだけで遊ばせるのはちょっと抵抗もあるので、ほとんどは断っています。私が一緒に出られる時は、３人一緒に目をかけられるのですが。
先日はその子達の母親も外にいましたが、
「私は帰るけど、子ども達だけでも大丈夫でしょ。」と言われました。
時として、２人で突然家に上がり込んでくる事もあります。
「僕たちのおかあさんは（遊びに行っても）いいって言ったよ。」
と言われるので我が子と３人で遊ばせることになります。ゆっくりしたい日や、掃除に性を出したい日は内心うんざりです・・・・。断ると
「なんで～～～～～！！」「じゃあ、おやつちょうだい。そしたら帰る。」という調子。母親としての考え方の違いでしょうが、どう対処したらよいでしょう・・・・。私５才ぐらいまでは全て親の監視下で・・・と思っているのですが、間違えていますか、古いでしょうか。