娘と同級生と近所の年下の子供について

四十才手前の兼業主婦です。 わたしの家の向かいに住む親子について相談があります。 わたしの留守中に娘の同級生が遊びに来てた時の話しですが。 同級生が来てるとは知らずに、向かいに住む、三才年下の女の子が遊びにきまして、その時、友達が来てるからと断れば良かったのですが、同級生が(一緒に遊んでも)かまわないと、言った事から、その日は三人で遊んだらしいのですが、 それ以来、同級生が来ると、自転車を見ては、また三人で遊びたい、と家にくるようになってしまいました。 一度目は仕方なく家に上げたらしいのですが、娘と同級生は毎回となると、やはり、嫌らしいのです。 同級生のからの手紙でわかりました。 向かいの母親も同じタイプの性格で、わたしの友達が遊びに来た時、友達のこどもはまだ小さくおとなしく家で、じっとしてるわけではないので、たまに庭に出て、わたしと三人で遊んだりするのですが、何故か、母親が家から出てきて、「あーら、お友達が来てるの！」 と遊びに参加しようとします。 普通は遠慮しますよね。 友達は大変、困惑して、後から、「あの人は少し、面倒臭い人だから、気をつけた方がいい」 とアドバイスしてくれました。 その後、実際に本当に、色々あり、ここに上げたトピはほんの一例です。 親子してこんな感じなんで困ってます。 ちなみに、向かいの子供さんの同級生が来てる時は娘がお邪魔する事はありません。 今回特に悩んでるのは、娘の件です。 二人で遊びたいから、と断るのは、悪いでしょうか？ またどんな言い方がいいでしょうか？