小学校4年生の母です。

御教示お願い致します。 前のアパートの住人との出来事で相談があります。 我が家は最近越してきたばかりで、前のアパートの方もお子さんがみえます。 小学校低学年の女の子で、娘も女の子です。 すごく懐いてくれたみたいで、心細いと言っていた娘が元気に登校し、初めは良かったなと思っていたのですが… 夜の7時半過ぎにインターフォンがなり、その子とお父さんが立っていました。 遊びに来たよーと。 お母さんが仕事で遅いから、遊びに来たの。 とその女の子。お父さんはそそくさとお父さんは家に戻るね！と言って置いていったのです。 もちろんすぐに帰ってもらったのですが。 その事が起きる前に2度ほど、夕方30分位、明るい内だけね、と遊びに行ってもいいと言ってしまった事が悪かったのか。（18時までねと伝えて、その時間には戻ってこれました。） 他にも、娘が勉強中に外から話しかけてきたり、19時頃に真向かいなので、窓からこちらが出てくるまで15分程、名前を呼び続けていたり。 娘は発達障害なので、直ぐに集中力が散乱する為、本当に困っています。 良くなってきていたのですが、また出来ていた事が出来なくなってきています。 先日爪にマニュキアを塗って帰ってきて、夜一生懸命落としていたのですが落ちきらず。 向こうのお母さんが塗ったようでした。 また引越しも金銭的にも余裕がなく難しい状況です。 学校区でも空きが少なく、困っています。 娘は楽しくて行きたがって、私が悪者扱いになってしまってきています。 皆様ならどう回避されるでしょうか。 こんな付き合い方はうちの子は出来ないんですと、はっきり向こうの親御さんに言うべきでしょうか。 うちにはうちのルールがあるのでとは伝えてあります。 遊ぶならこの時間にと紙に書いて渡してもらったりしたのですが。 何か良い方法はないでしょうか？