飲み会の誘いをうまく断る方法

２年ほどパートで働いているのですが、みんなで飲もうって話が持ち上がりつつあります。 コロナもあって飲み会は今まで一度もありません。 職場での人間関係はかなり良好でプライベートのつきあいはないですが、 雰囲気はとてもいいと思います。 が、仕事が終わってからとか、休みの日まで会ったりするような付き合いはできればしたくないのです。 飲み会の話をしているメンバーは、全員パートで、子供がいる人、いない人、独身の人などそれぞれです。 年齢も３０代から５０代まで。 この誘いをうまく断りたいのですが、どう言ったらいいでしょう？ その日はダメだから、と言えばじゃあ空いてる日を教えてって言われると思います。 みんないい人たちですし、この先も仲良くやっていきたいので、みんなと行きたくないとは言えません。 家族の話も会話にでたりしているので、家族を使って断ることもできませんし、 行くしかないのかと悩んでいます。 私抜きでみんなで楽しんできてほしいと思っていますが、うまく伝える方法はないでしょうか。