友達の友達との付き合い

大学時代の友人6人グループ（私も含めて）で、卒業後も定期的に会って遊んでいます。 それぞれ結婚し、子どももいて、最近は子連れでランチとかもしています。 そのグループの中に、いつの頃からか、全く関係ない友人が呼ばれるようになりました。 それは友達の友達、といった感じで私にとったら全く知らない人だったり、大学時代に苦手だと思っていた人だったり。 そういう人を友人5人のうち1-2人が「特別ゲストだよー！」と言って呼んでくるんです。本人は善意のつもりで悪気はないようです。 私はこの特別ゲストが本当に嫌で、その会自体を欠席するようになりました。 友達のことはすごく好きで会いたいのに、その特別ゲストとやらのせいで、会いたい人に会えないでいます。 私のこの感覚は変なのでしょうか？ 「特別ゲストはやめてほしい」と言うのは友人の善意を否定してしまうようで言いづらいです。 友人は連れてきたいと思ってるんだから、私が行かなきゃ良いだけだと我慢していましたが、このまま会えないでいるのも悲しくなってきて、、、 我慢して行けば良いのかもしれませんが、そこまで大人になれないというか、大人になったからこそ会いたくない人に無理して会う必要ないというか。 皆さんのご意見をお聞かせください。 「私も嫌だ」とか「私は別に大丈夫」とか「こういう風に考えれば？」とか「こうしたらどう？」とか何でも教えてください！！