職場の飲み会に行きづらいです

30代前半の女性です。
職場の飲み会に時々誘われるのですが、毎回その飲み会メンバーの1人が私の参加に対して難色を示します。

職場の女性の先輩から「今度飲み会やるんだけど来る？ただAさんが、島村さんくるのはいいけど話したことないから大丈夫かな…？って言ってたけど」と言われました。
Aさんというのは部署は同じなのですがチームが別で、顔見知りだけど話したことはありません。
その飲み会は社内でも特に仲良いメンバーの集まりだったので私は断りました。

そのまた後日、チームの飲み会が開催されることとなりました。
Aさんは別チームなので来ることはないと思い、こちらの飲み会は参加表明をしたのですが、その後で幹事の方から「Aさんも誘って来ることになったんだけど、Aさんと話したことないんでしょ？Aさんは俺の隣に座るからそれでいいよね？」と言われました。
そもそも私のチームの飲み会なのに私がいることに対してそのようなことを言われることが心外でした。
飲み会当日も2人で一目散に席取りをしていて悲しくなりました。

話したことなくても飲み会きっかけに仲良くなれるかもしれないのに拒否されているようです。

もう職場の集まりは参加しないと決めました。
しかし飲み会の幹事や仲の良い先輩から思いもよらず、カラオケ、ボーリング大会など遊びの企画に誘われています。
Aさんは職場の集まりが好きなようで、幹事とも仲良いので必ず参加すると思います。

今後の集まりは断りたいのですが、大人の対応で当たり障りのない理由(プライベートが忙しい等)で断るか、
正直に「私がいるとAさんが楽しめないだろうから、Aさんに悪いので行くのをやめておきます。」と言うか悩みます。
正直に私もチクッと言いたいところですが、大人げないでしょうか。

誘っている側も社交辞令で誘っていて、断ること前提なのかと勘繰ってしまいます。