学童に行ってない子供の友達

息子は小２ですが、お友達で学童に入ってない（辞めてしまった）子達が数人います。 放課後は皆で遊んでいますが問題なのは夏休みや冬休み。夏休みは毎日９時過ぎに家に来て上がり込みました。私も短時間働いてるので子供達だけでの留守番で案の定散らかされ、お昼持参の子もいました。時には知らない子もいれば兄弟を連れて来てた子もいました。夏休みに毎日家に来ていたのに親からは電話一本ありませんでした。初めて挨拶されたのが１１月でした。それぞれ家庭に事情はあると思いますが学童に入っていれば１日大人が見てる中で安心して預けられると思います・・・ 結局は学童に行ってないから暇で我が家に来てたのでしょう。預かるこっちは本当に大変でした。喧嘩の仲裁や、あっち立てればこっちが状態。『もう時間だから』と促しても『まだ大丈夫だから』って帰らない。私自信も無責任だったので反省し『子供だけの留守番は火事や怪我したら大変だから』と私が居ない時は絶対に入れない事にしました。幸い冬休みは息子も習い事があり家では遊びませんでした。家に上がりたがる子がいますが、この様な経験をされた方いますか？対処法など教えて下さい。お願いします。