上司の悪い癖

２０代男性です。最近困っていることがあります。 上司（50代）がものすごい酒好き＆キャバクラ好きで飲んだあとにほぼつき合わさせられます。 まあ多い時は週に2回とか、3回とか。 仕事では尊敬している人でもあり誰かに相談したくて最近とてもとても辛くてトピをたてさせていただきました。 なにが辛いかというと飲みに付き合うのは昔からなので全く問題ないのですが、 次の日社内や僕の友人、知人に、僕がキャバクラに行きたかったから連れてってやったとまるで上司は行きたくないけど後輩が行きたいから仕方ないかのような言い方を周りにするのです。 最近そういった発言が多くて正直いらいらして仕事がなかなか手につきません。やっぱり上司ですからこれから先もずっと我慢するべきなのでしょうか？ みなさんコメント、アドバイスをよろしくおねがいします。