小2娘の近所の男の子のお友達＆その子のママについて悩んでいます。

同じマンションでクラスも同じ。
その男の子は娘にべったりで、登下校も一緒、帰宅後も一緒に遊びたがります。
私から見て娘より幼い印象があり、ちょっと迷惑な行動が多いんです。

一番困っているのが、ベルもノックもせずに勝手にドアを開けて我が家に入ってくること。
そして最近では、娘は女の子のお友達と遊びたいと思っているらしく約束をしてくるのですが、その話を聞きつけたその男の子も必ず入ってくるのです。

なかなか他人の子供相手に叱ることもできない私でしたが、娘も娘の友達の女の子も困っているので、さすがに言わなければと思い、先日も我が家に勝手に入ってきたその子に「勝手に玄関を開けないこと。今日は他の子と遊ぶといってるから家には上げられないよ」と私から言うと、家に帰っていきました。
するとその子のママからメールがきて「はりきって遊びに行ったのに遊べないと言われてうちの子がかわいそう」と。
驚きましたし、ちょっと腹も立ったので「娘が遊ぶ約束をしていない子を家にあげれないし、ノックもなしに玄関を開けて入ってこられるのも困っている」と返信すると
「うちの子は約束したと言っている。勝手に玄関を開けることは悪いことと思っていなかった。」と。
その子のお家のしつけはどうなっているのかと思いました。

できるだけ関わり合いになりたくないと思っているのに、今日は先生から頼まれて、その男の子の宿題を娘が見ることに…

日々その男の子のことで迷惑しています。その男の子のママとの話し合いもうんざりです。
どうしたらいいのでしょうか？