小学校のボランティアを辞めたい。助言下さい

子供が双子の小学一年と、未就園児がいます。 子供が入学したときに他のママさんに誘われてボランティアメンバーになりました。 内容は月に一、二回のパネルシアター、エプロンシアター、紙芝居、昔遊びの伝承、など。 段々とストレスになってきました。毎月、その日が近づくと憂鬱になる原因は何か考えたところ、活動のあとに皆さん残っていつまでも続く世間話、ほかに定期的なランチ会にお花見バーベキュー。 メンバーが苦手で、メインのお母さん達がずっと喋っていて、輪に入りにくい空気。 活動そのものは、盛り上げ上手な性格ではないのでなんとかという感じですが、子供達の反応がかわいかったり、嫌ではありません。 あと一年で末っ子が幼稚園に入るため、仕事も考えています。 なのでどのみちあと一年で辞めさせて頂くつもりです。あと一年、いやでも頑張るか、、でもこの一年、毎月毎月ストレスを抱えてまで、このボランティアをやる必要あるのか悩んでいます。 本来やれる人だけやればいいのですが、周りに流された結果判断を間違えてしまいました。 皆さんならどうしますか？やめる理由も見当たらない、未就園がいて仕事とも言えない、やめたいと言ったら周りにどう思われるだろうか、悪い印象の人のだな、などモヤモヤしています。 人に流されず、嫌なことははっきり断れる人が羨ましいです。結局人にどう思われるか周りの目を気にしすぎる自分の問題です。一番自分の嫌なところです。 この性格、どうしたら変われますか？ 厳しい意見でも構いません、宜しくお願いします。