ＰＴＡ内での人間関係の苦情

毎週土曜日に保護者が集まりピンポンをしています。メンバーはＰＴＡの現役が中心でＯＢや教員もいます。隣の学区の小学校からも愛好者が参加しています。また、昨年から一般の方も数名加わりました。
ところが、４月から入部したＡさん（女性）から、外部からの参加者（隣の学区の小学校のＯＢでもある）Ｂさん（６０歳代の男性）について苦情がありました。
Ａさんいわく
１：Ｂさんが打ったボールがＡさんに当たっても謝らず、ダブルスで組んでも自分を邪魔者扱いして迷惑している
２：私たちの卓球部なのにＢさんが大きい顔をしているのはおかしい。Ｂさんを追い出してほしい。
３：他の女性部員も私と同意見である。（ただしリサーチしたところ気にならないという人もいます）
Ｂさんは卓球が上手で、勝負でも厳しくＡさんとは合わない感じです。Ｂさんは卓球のウンチク話は長いのですが、暴言を吐いたりすることもなく卓球好きのおじさんという感じです。
私としては、ＰＴＡと言えども学校施設を無料で使用できるなどの優遇を受けており、スポーツを通した地域の交流の場として外部の参加を認めていることは問題ないと思っています。また、他の部員に深刻な身体的、精神的な攻撃を加えているわけではなく、Ｂさんだけを追放する理由がないことをＡさんにも説明し、ＡさんにはＢさんとは組まないような別メニューで練習すること、Ｂさんにもこれらの苦情があったことを私から説明することで了解を得ました。
ところがＡさんはこれでは納得いかず、ＰＴＡ役員に直訴しました。
Ｂさんはかつては、この地域の卓球交流の発展のためにご尽力された方です。Ａさんも女性部員に影響力があり、部員の勧誘をしていただけるなどその意見も無視できません。Ａさんの健康管理のためにも卓球を続けることを推奨しています。
何だか複雑な気分です。