友達の旦那を邪魔に感じてしまう

30歳、未婚ＯＬのきなこです。
友達との集まりでもやもやしていることがあります。

大学の時の仲良しグループで年に２，３回集まっています（土曜か日曜の昼間に）。グループはもともと女子のみで、全部で１５名、ただし結婚や仕事で地方に行った子もいますし、人数が多いので予定を合わせるのも難しく、実際集まるのは５～８名です。
その中で参加率の高いＡ子（既婚。２歳の子供あり）が毎回旦那さん（以下Ｂ男）を連れてきます。もちろん子どもも連れてきますが、それはいいとして（他の友達も子連れ参加です）、何故毎回Ｂ男も来るのか、イライラしてしまいます。
私は未婚で仕事をしていてるのですが、グループには専業主婦の子が多く、共通する話題も少なくなってきているのが実際です。だからこそ、「女同士の話」がしたいのに、Ｂ男がいるせいで当たり障りのない会話しか出来ず、面白くありません。
Ｂ男は嫌な人というわけでもないのですが、こちらから話しかけたら普通に話をしてくれますが、特に社交的でもなく盛り上がりません（私以外の人とも）。
だんだん億劫になってきて、私は会に３回に１回ぐらいしか行かなくなってしまったのですが、Ａ子一家はほぼ毎回参加しているようで、Ｂ男の参加もすっかり定着しているようです。
グループの子は皆Ｂ男を受け入れている様に見えます。もともと仲間うちでネガティブなことを言い合ったりしないので、今更こっそり他の子に「Ｂ男が参加しているのどう思う？」とも訊けない雰囲気です。

このまま私が我慢するか、フェードアウトしていくしかないのでしょうか。