習い事、続けさせるべき？

今、小学4年生の息子の習い事について悩んでいます。 息子は、1年生のときに、武道系の習い事を始め、三年間続けてきました。 入会のきっかけは、私が勧めたことです。 何もやりたくないと意欲がなかったので、何かやってほしいと思い、いやいやながら始めさせ、現在まで続いています。 習い事は、週三回、土日もあり、一回の稽古は3時間ほどあります。 ですが、習い事に行く前になると、行きたくない、休みたいと言い、それがずっと続いており、1年ほど前から、私は、行きたくないなら、もうやめたらいいんじゃないと言っていますが、辞めるのはやだから、がんばると言うも、また当日になると、理由をつけて休もうとします。 元はといえば、私が無理に始めさせたことで、とても後悔していますが、無理にやめさせるのも良くないのか、でも、好きじゃないことはわかっているので、続けさせても、意味ないようにも思います。 毎週土日がつぶれるのは、かわいそうかなと思い、低学年のうち、週に１回いけばいいよと言っていたので、休み癖もついてしまっているんだと思います。 今年からは、部活も始まり、ますます忙しくなります。 本人が行きたいというのは、友達で仲良しの子がいるからです。試合や研修などは、楽しいみたいですが、練習は、行きたくないみたいです。 友達は、みんなほとんど練習に来ており、休む子は少ないので、実力の差も、どんどん開いています。このままだと、劣等感も持ってしまいそうです。 何も言わなければ、１回しか行かない月もあり、毎回、行くように説得するのも、怒ってしまったり、疲れました。 どうするのがベストだと思われますか？？