飲み会の誘いが苦痛でバイト辞めたいです。

タイトル通りの事でなやんでいます。 バイト先にボス的な存在の人がいてその人の声かけで週に２，３回は飲み会が開催されています。お酒が好きな人や独身の人は参加している用なのですが、あまりお酒は飲めないし生活に余裕があるわけではないので正直苦痛です。 習い事を始めたので飲み会には参加できないと嘘をついたのですがそれでも毎回毎回誘われます。 お酒飲めないしそういう場を楽しめるタイプじゃないから誘わなくていいですよって言ったのにやっぱり一応いけるかもしれないからと言って誘ってきます。 あまりに毎回断っているので悪いことしたような感じになり罪悪感を感じてくるので1年に2回位は行くのですが疲労困憊になってしまい結局行ったことを後悔して朝まで眠れなくなったりします。 バイト内容には満足していてとても楽しいのですが飲みの誘いが苦痛でやめたいです（涙） バイトを辞めずに誘いを断る方法やうまい言い訳など何かお知恵を貸していただけないでしょうか？