近所の男の子

幼稚園年長の息子がいます。最近になって、ご近所の一つ下の男の子が遊びに誘いにくるようになりました。誘ってくれるのはいいのですが、誘いにくる時間が問題なのです。夕方5時を過ぎてから来たり、休日の朝の8時に来たりします。この間は夕方6時半でした。我が家は冬場は小学生のお姉ちゃんでさえ4時半には帰って来るように伝えています。もちろん、遊べないことを伝え、帰ってもらいますが、外は真っ暗で、しかも自転車なので無事に帰れるか心配で、結局、その子がお家に帰るまで見守っています。その子のママとは挨拶をする程度ですが、この前、お会いしたので、話してみました。『遊びに来てくれるけどウチは夕方は4時半までだし、休日は家族で出かけることが多いから遊べない』と。その子のママは、夕方、子供が出ていたことも気付いてなかったみたいでした。しかも謝罪もなく『遊べないなら仕方ないよね。ほっといてくれればいいから』と言われました。ほっといてくれればと言われても、もし帰る途中で何かあったらと思うと心配です。私はどうしたらよいのでしょうか？