小学生の帰宅後の遊びについて

うちには小学5年の女の子と3年の男の子がいます。私は専業主婦です。
子供たちが学校から帰ってくるのは16時くらいです。
帰ってきたらすぐに宿題をさせるようにしています。
学年も上がり宿題の量も多くなり、1時間～1時間半くらいかかります。
近所に1年生の男の子がいるのですが毎日遊びに来ます。うちの子がまだ帰って来ていなくても家に上がって待つと言います。下の子と遊ぶのが楽しいそうです。
最初は「いいよ」とおやつを出したり、おもちゃで遊ばせていました。
うちの子が帰ってきて宿題をさせるのですが、話しかけたり横でゲームをするので集中できず、それならばと一緒に宿題ををさせてみたりもしましたがあまり変わらずでした。なので、「宿題が終わるまでおうちで待ってて」と言うことにしました。やはり「いやだ」と言われました。
遊ぶときはその子の家でゲームをするのが２人の楽しみらしく、お邪魔させていただいてるのであまり強くも言えませんでした。
それに、お友達と遊ぶことは子供の世界も広がるしいいことだと思っています。
でも、さすがに毎日となると私のストレスにもなってきました。それにお菓子はボロボロこぼし、布団にものったりなど・・・。
何度おうちで待っててと言ってもいやだと言うので少しきつめに怒ってしまいました。まだ1年生なのに、自分の子と遊びたいと言ってくれているのにかわいそうなことをしてしまったと後悔しています。その子のお家は日中はおじいちゃんとおばあちゃんがいらっしゃってとても優しい方たちです。遠回しにお話したら謝られ、もう来させないようにすると言われました。みんなを傷つけた気がします。
宿題もお友達も大事です。色々考えて胃がキリキリします。
小学生をお持ちのお母様方は子供の帰宅後はどうされていますか？
長くなって申し訳ありません。