子供同士とPTAボランティア

こんにちは。アラフォーのみかんと申します。 小学生の子供が二人おります。最近引っ越してきて、小学校でPTAの母親のためのボランティアが幾つかあり、やってみたいものがあり、誘って下さった方（Aさん）がいるのですが、正直言ってその方が苦手でして・・・。 その方のお子さんがクラス内でちょっとしたトラブルメーカーのようなのです。以前、他の子に暴言を吐いたり殴ったりけったりなどがあったようです。Aさん自体も色々な人の悪口を言ったりと他の人から警戒されるような存在らしいです。 そのボランティア自体にはとても興味があるのですが、Aさんをうまくかわしながらやっていく自信がなく、迷っています。なぜかうちの子供もAくんに気に入られているようで、時々遊びに誘われ困っているようです。 PTAのボランティア活動やっていて、子供同士の仲がこじれたことがある方どうしたか教えて下さい。 また、子供（小４）が遊びたくない友達の誘いを断る理由（？）何と言って断ったら良いのか、よい言い方ってありますか？　みんながその子の誘いを断り、いじめのような状態になるのも気がかりです。