隣の子供が夕方から遊びに来る

隣は小学２年生、うちは幼稚園年長です。
小学校から帰宅がたぶん４時くらい？でそれから宿題などをして、いつも５時６時にうちのインターホンを鳴らします。

隣の奥さんと話す機会が会った時、「６時くらいにうちの子、おたくの○ちゃんと遊びたいと言ってインターホン鳴らすって言うの、そんな時間からダメって言ったんだけどね」と言われ、私は「そうなんだ～あはは」と言いました。
その返事をしてからほぼ毎日５時６時にインターホン鳴らして遊びに来ます。私の返事は「ＯＫ」に聞こえたのでしょうか？
もともと図々しい方んなのではっきり「夕方はちょっとね」と言った方が良かったのでしょうか？
近所で子供はうちと隣だけなので、たまにはと思い遊ばせますが、何せスタートが５時とか６時なので、帰りは７時半頃となります。

インターホン鳴って遊ばせないと（理由つけて断わると）子供は大泣きするし、ホントいい迷惑です。
今はまだインターホン鳴らされる前にお稽古の練習などをさせていますが、小学校に入ると、毎日遊びに来られて、練習などする時間がなくなるのではと恐怖です。
ただ、子供同士遊ばせる事も大事だと思っています。
同じ園児なら終わる時間も早いので、５時にはさよならできますが。小学生なので５時がスタートとなります。
全く遊ばせないのも子供が悲しがるし、あわせると５時６時スタートになるし、いったいどうすればよいのでしょうか？
週２回くらいは合わせた方がいいでしょうか？子供も遊びたがるし。
ただ、インターホンはやめてもらいたい。
以前は外で遊び声（自転車の音など）聞こえたら外へうちの子を出すようにしていました。インターホン鳴らさないのは暗黙の了解と思っていたのに。
隣は習い事ひとつさせていないので暇で仕方ないようです。
いいアドバイスがあれば教えて下さい。