クラス会幹事、上手な断り方

2歳の子供を持つ30代後半主婦です、週１で仕事をしています。
忘年会の幹事をやってしまったせいか、今度はクラス会の幹事まで任されそうになっています。
いつも幹事をやってくれている友人の余命が短いことが分かり、どうしてもと頼まれたため引き受けた忘年会の幹事でした。
子供が小さくてまだ手がかかるから、と言うとまわりの友人達は手伝うよと言ってくれましたが結局私が全部ひとりでやりました。
とても大変だったので、『大規模な会の幹事はパスさせてほしい、できることは手伝うから』と友人達に伝えたところ、『私達は朝から晩まで仕事で忙しいの。家に居る時間が長い主婦はヒマなんだからできるでしょ。日時と会場だけ決めて、来られる人だけくればいいんだから。』と言われました。
小さい子供がいるなかで、日時と会場を決めて来られる人の確認をするということがどれだけ大変か…
ちなみに友人達は独身、または既婚子供なしです。
できるだけ今後の人間関係に影響が出ないよう、上手に断りたいと思っているのですが…
小町の経験豊富な皆様、何か上手な断り方や方法がありましたら教えていただけないでしょうか。
たくさんのご意見お待ちしております、よろしくお願いいたします。