４歳息子の習い事について

４歳の息子がいます。夫が社会体育（？）で柔道の指導員をボランティアでやっています。息子にも柔道をやらせたいと、夫が指導しに行くときは連れていって道場に慣らせているみたいでした。去年、夫が転職して残念ながら参加出来なくなりました。 なので私に「子供を道場へ連れていけ」というので 同居している義父母に下の子を預けて参加していました。 でも、指導者の父親とちがい私は道場の隅っこに座っているので、息子も甘えて全く練習（受け身？）に参加していません。 それでも連れていけと夫に言われて毎週行っていますが、最近息子自身も少し嫌がるようになってしまいました。 私としては、改めて息子本人がやりたいと言うまでまちたいし、素人な私じゃなくて夫が行けるときに連れていって欲しいのです。私のわがままでしょうか？夫には「甘い」と怒られました