子供とライブに誘われましたが・・・

４０歳のミミと申します。子供は小学生が２人です。ごくごく普通の家庭だと自分でも思ってます。ママ友関係も良好で今まで悩みもなかったのですが、クラス替えがきっかけでＮ子さんと知り合いました。
彼女は地方出身者ですが、ご実家が開業医でご主人も医学部関係。ご自身はずっと専業主婦らしいですが、以前、海外にご主人の関係で暮らしていたこともあるようです。あとは、その男の子が某アニメ好きで、その格好がしたいといえば好きなようにさせ、その主題歌を歌っているアーティストのファンクラブにも入り、今も一緒にライブで騒いでいるのだとか。彼女の教育論では、子供の好きにさせるのがのびのび育つ秘訣とのことです。
で、我が家の次男がたまたま４年生でＮ子さんのお子さんと仲良くなったのですが、先日「一緒にライブ行かない？楽しいよ！」と誘われました。実は以前からいろいろ誘われていて（Ｎ子さんはあまりお友達もいないのか、１人のことが多いんです。私が声をかけたのが親しくなるきっかけでした。）、そのたびに断っていたのですが、今回はあまりに寂しそうなのでつい１回だけおつきあいしました。
そうしたら、「また次も！」「今度はあそこに行こう！」等々、断りづらくなり悩んでいます。
周りのママ友の話では「Ｎ子は地方の開業医の娘だから、プライドが異常に高くて話が合わない」「教育論も間違ってる。こどもに贅沢させすぎ」「もう距離を置いた方がいいよ」などなど、Ｎ子にまつわる悪いうわさ話ばかりで、何だか落ち込んでしまいました。確かに一緒にいて「あれ？」と思うことは良くあります。でも、そこまで周りからつまはじきにされていた人とは知らず。
ちょうどよい距離感をもってつきあえば、悪い人ではないようですが。
どうやって距離を置いていったらいいでしょう？話を聞くとキッチンドリンカー？の人のようで心配です。