役員の断り方を教えてください

皆様アドバイスをお願いします。 子ども会の本部役員の会長を２年勤めました。 会長を頼まれる時に、 「この役をやっていただければ本部も地域の子ども会の役員は永久免除です。」と言われましたので、お引き受けしました。 しかし、会長職が終わってから地域子ども会の人に、 「地域には地域の役の決め方があるので本部から指示されるのはおかしい。あなたも地域の役員をやらないといけない。」と言われました。 私が、「いえ。私はお引き受けするときに地域も本部も役員が永久免除と言われた ので受けたのです。」と言うと、 規約に書いてないから免除はできないというのです。 それはそうかもしれませんが、大役を引き受けた私がやらなくても役員ができる人はたくさんいます。 地域の子ども会のみなさんはどんな小さな役をやっても「やりました」とノルマが済んだことを主張されるので、引き受けてくれる人は少ないのかもしれません。 でも、不公平だと思います。 どうしてもお断りしたいのですが、どのように言って断ればよいでしょうか。 アドバイスお願いします。