再開した体操教室をやめるか続けるか(5歳)

お世話になります。
年中組の息子が毎回「体操教室に行きたくない」と泣いて抵抗します。
本人が言うには「人が多いから嫌」「上手にできないから嫌」とのことです。(生徒15人)
同じクラブの水泳教室の方は楽しく参加しており、水泳もかなり人は多いのですが、気にならないようです。
5歳ですが既にプライドが高く、上手くできないこと自体も嫌だし、できない自分を人に見られることは更に嫌らしく、体操が苦手という自覚があるので恥ずかしいと思うようです。
(皆の前で歌うとかも苦手です)
客観的に見ると特に下手なわけではなく、足も速いほうだし、跳び箱も鉄棒も習えばきちんと出来て、毎回進級もしています。
でもやるまでにとにかく時間がかかります。意気揚々と家は出るのですが、いざ入館して生徒たちを見ると「行きたくない」と泣き、60分のうち最初の30分はほぼ参加できません。
コーチは皆さん優しくて、気持ちが乗るまでゆっくり寄り添ってくれたり、息子もコーチ達のことは好きだと言います。
ただ、「体操自体は好きだけど人の輪に入っていくのが嫌。皆に見られるのが嫌」と。(別に息子が注目されたり、嫌みを言われたりしてるわけではありません。)
夫には、「体操選手にするわけでもなし、そんなに嫌がるならやめさせれば？」と言われます。
私も無理やりやらせることが有益とは思っていません。でも、今の体操は２回目で、年少の時に通っていたけど嫌になってやめて、年中になって本人のやる気が出たので「今度こそ頑張ろうね」と約束して再開した経緯があり、自分から再開したのにまたすぐやめるのは良くないと思っています。
子供にも『嫌になったらいつでもやめていいというふうに思ってほしくない』『苦手だと思っても継続することで上達できるという成功体験をしてほしい』という気持ちが大きく、嫌ならやめていいよ、とは言えずにいます。
皆さんならどうされますか？