ママと子供一緒の集まり悩んでいます

長文で申し訳ありませんが、お付き合い下さい。
母子集まってのお茶会について、参加しなくてもよいか相談にのって下さい。
声かけするママをＡさんとします。Ａさんと私は近所です。
会には必ずＡさんと仲良しのＢさんが来ます。他に２、３組Ａさんが声をかけます。ＡさんＢさんの上の娘さん同士は学年は違いますがとても仲良しです。
Ｂさんは私の娘と同じ学年ですが、子供同士は普段遊んだりしません。
その会には時々Ｂさんの娘さんのお友達が来たりします（子供だけ）。
女子グループといった感じです。
お茶会では娘も一緒に遊んでたりもしますが、気が付くと、普段遊ばないので当然
娘は取り残される形になります。それでも娘は弟の友達や、小さい子と遊んだりして、楽しいよと、言います。しかし、女子達が固まっている姿を見ると、私がいたたまれない気持ちになる為、参加していても正直ちっとも楽しめなくて、終わった後はいつも、嫌な気持ちでいっぱいになり、娘にあたってしまいます。そして娘にあたった事でさらに落ち込んでしまいます。こんな状態なので、頻繁ではありませんが、最近この集まりに参加する必要があるのか疑問に思えてきました。Ａちゃんとは近所としてのお付き合いが、多少は子供同志の付き合いも含め、最低限あるので、断りづらいのと、娘が集まりの事を聞くと、そんな状況でも行きたいと言うので、この二つが理由で、参加してきました。しかし集まりの後、娘のそういった状況にいつもどうしようもなく落ち込みます。しかも、私が参加しなければ、その状況を作らずに済むのです。断りたいと思っていても、娘がいいよと言うと、負けてしまうのです。この集まりはもう断ってもいいと思いますか、子供の為にはどちらがいいのか、実の所わからなくなっていて、悩んでいます。皆様ならどうされますか。