一度ＯＫした飲み会の断り方

昨年冬から常勤派遣をしております、32歳・女・既婚・1歳の子供ありの匿名24時と申します。 私の部署は1局２部（Ａ部・Ｂ部・全員男性ばかりで7名）でできており、両方の庶務係をしております。例年ＡＢ一緒に飲み会をしているのですが、両部とも業務が忙しく、歓迎会・忘年会などがないまま今に至ります。 そこで、Ａ部長が「暑気払いを兼ねて歓迎会を」と言ってくださいました。 全員のスケジュールを合せることは難しいので、Ａ部員全員（私含め3名しかいませんが）が出席できる日を選び、Ｂ部の人は「これる人が出席する」というスタンスで開くというのです。 忙しい日が続きますし、そういう風にでないと飲み会は開けないのだなとその時は思いました。 しかし、後日Ａ部副部長に聞くとどうやらＡ部長はＢ部の人は来てほしくないニュアンスのようなのです。Ｂ部の部員さんにもＡ部長は「来たかったら来ていいよ～」と言われたそうです。どうやら「職場で開催」ではなく「個人的な」飲み会になりそうなのです。私としては「全員これるようスケジュール調整はしないが、大丈夫な人は出席」だと思っていました。 ・1歳の子供がいるので義母に預けて飲み会に参加しなければならない ・参加人数が少数過ぎて相手との距離感が近くなる ・私自体飲み会は得意ではなく盛り上げたりしないし話も上手くない ・酒好きでもないのに、正直、おっさんの個人的な飲み会に出席したくない。（すみません、私もおばさんだということは重々承知しています。） 以上の点で断りたいのです。しかし、最初に私の都合のよい日を言ってしまい（聞かれたので○日以外なら大丈夫と言いました）回避しずらいです。 まだ日程は決まっていません。 しがない派遣社員なのでなんとかやんわり回避できる素敵な言い回し等はないでしょうか… 対人ベタな私にご指南ください。