とある上司との飲み会が怖い

きっかけは上司A・B,先輩と4人で飲みに行ったときのことでした。 訪問先の下町で帰りがけに1杯、までは良かったんです。しかし1件目を出たあと、飲み会大好きなAから「2件目も行くよな！」といつも以上に高いテンションで誘われました。 先輩は飲み会続きのせいか、子どもが…などと適当な理由をつけて帰ってしまいました。私もあまり体調が優れないうえ、翌日は朝から会議の準備もあるためやんわり断ったのですが、先輩が帰るとなった時点で「（上司2人だけってことはないから）そしたら来るしかないな！」と半ば強引に連れていかれました。 2件目のお店はというと、店員のガラが悪いうえにタバコの煙が酷く、帰りの電車で始終ぐったりしてしまいました。。 飲み会は好きですし、下っ端の自分に幹事を任されること自体に抵抗はありません。しかしこの日以来、また同じ思いをするかと思うと、Aからの誘いに限らず、Aが出る飲み会にすら足がすくんでしまいます。 どうしたらAのいる飲み会にも参加できるようになるかご意見ください。よろしくお願いします。