園ママからの誘いの上手な断り方教えてください。

トピ開いてくださってありがとうございます。

今年から幼稚園に入学した息子がいる母です。よろしくお願いします。
実は夏休み前からある園ママに声を掛けられて少し困っています。
内容は
「ウチの娘とお宅の息子さんはよく遊んでいて仲良くしているんですよ、今度、家に遊びに来ませんか？」等々です。

驚きました。なぜなら息子からその女の子の名前を聞いたことが一度もなかったからです。
息子は園での事をよく喋る子で、今日は誰と遊んだとか誰が好き。とか教えてくれるのですが、その女の子の事はただの一度も話題に出てきた事がありませんでした。
なので息子に「○○ちゃんって子知ってる？遊んでるの？」と聞いたのですが「クラスにいるけど、遊んだ事ないし知らない」と言います。
子供同士の意識の違いでしょうか？

息子は社交的な性格でニコニコ優しく誰とでも遊ぶ子なので周りのお母さんから評判がよく、買い物をしていても知らないお母さんから「あらっ！○君またうちの子と一緒に遊んでね～」と突然声を掛けられることがあります。
聞くと、ショッピングモールの広場で偶然一緒に遊んだ子のお母さんらしく、たった１度のことなので私は顔も覚えていませんでした。

本当に仲良くしているなら園外で一緒に遊んでもいいのですが、なにせ息子がその女の子に興味がないようなのです。
私は面倒くさがりな性格なので今までその園ママの話をはぐらかして来たのですが、ちょっと最近しつこくて「今度、園で会ったときに遊ぶ件、お話しましょう」みたいに言われてしまいました。

夫に話したらあまりキツイ断り方するとこの前のドラマ(顔のない天使）みたいに嫌がらせとかされるかもよ。と言われてしまいました。でも正直、私はその園ママが苦手なタイプでお付き合いは遠慮したいです。

逆恨みされないように上手に断る言い方ないでしょうか？