友達同士で遊ぶ時（小学生）

小１の息子は発達障害があるので、
まだ子どもたちだけではとてもじゃありませんが遊ぶことはできません。

最近上級生含め３、４人で遊ぶことがあり、私も同伴しますが、
お友達が「私の家にきて」と言います。

大人も来るのはお友達の親御さんが嫌だろうなと思って、
また今度ね！と言って断るのですが、なんて言って断ればいいでしょうか？

ごめんね大人は入れないの、でいいでしょうか？

お友達が事前にお母さんに（親同伴の）許可をとっていても、
やっぱり親は遠慮すべきだと思うのですが、、、、、
そこのお母さんとは挨拶程度です（感じのいい方です）

あと、もうひとつ質問です(発達障害は置いておいて）。
これは親同伴の話ではないのですが、
小学生で、公園や友達の家を自転車で巡りながら、
たまたま在宅していた友達の家を訪問し、
家に上がるというのはよくあることでしょうか（もちろんその場で友達の親が許可して）

今日の何時からお友達の家におじゃまするという約束を、
事前に双方の親に許可をとらずに訪問するということです。

親には行き先を告げず「遊びに行く」とだけ伝えて、
公園や友達の家や駄菓子屋さんなどぐるぐる巡るのは普通のことですか？
特に低学年の小学生の話を聞きたいです。
よろしくお願いします。