職場の人に遊びに頻繁に誘われる

職場の人と遊ぶことについて。
入社２年目・20代女です。

上司(同性・30代)はお休みの日に会社の人と遊ぶ、かつ主催することが好きです。(遊ぶ相手も全員女性です)
職場は、平日休みということもあり、遊ぶ人が限られてしまいます...。

私が職場の近くに引っ越したこともあって誘いやすくなったのか、ここ数ヶ月で遊びに行く回数が増えました。

誘ってもらうことはとても嬉しいのですが、(上司はいい人です。)
毎月はキツイです...
(普通にお金も満額払います。女性の先輩あるあるですかね？)
ですが...楽しそうに計画をしている先輩を横目に、断れないのです...

現在付き合っている人が、あと半年で就職・遠距離になるので今は優先したいと思っています。
ただ、上司に彼氏の存在を自分から話すことは無く、別れたと思われているのか？...彼そろそろ彼氏を理由に断ろうかと思い始めました笑
(上司に彼氏はいません)

1週間後なので諦めていますが
上司主催で、私の同期とその上司、
4人で泊まりがけの遊びに行きます。
...これが本当に憂鬱です。同期とその上司があまり合わなくて。
しかもこれこそ、結構急な誘いで
私も咄嗟に(予定がありますなど)嘘が付けず、その場で上司が楽しそうに計画を始めてしまい......

そしてこの次の１ヶ月後にも違うメンバーでまた泊まりで予定があります。
これこそ、そろそろ断ろうかなと。(結構具体的に決まってきてるのですが、まだ予約などはしてないはず)

職場の人間関係がここまで深い？も方もなかなかいないと思うので共感してもらうことも難しいと思うのですが…

皆さんだったらどのように対応されますか？
くだらない話ですが、ご意見聞かせてください。
(1週間後の泊まり、キャンセル料払ってまで断る...という選択肢はアリでしょうか)