学童野球の保護者と監督の関係について

子どもが所属する学童野球チームの保護者会長をしていました。
　
先日監督からの命令（？）を断ったため解任されてしまいました。

内容は、監督が呼ばれている他チームの周年パーティーへの送迎です。
うちから車で1時間ほどのホテルでの開催でした。
「それは保護者の仕事ではありません。」と断ったところ、「協力できないなら、会長をやめてしまえ」となりました。
他の保護者は「なぜ相談してくれなかったんだ？」の論調でしたが、自分は全く非常識な話と思ったので断ったわけです。
前任者も、その前も仕方なくではあるでしょうが、そういうことはしていたそうです。ある日は会場の駐車場で2時間待ったとか。

その後は、他の保護者が「これから気をつけるので続投で」と言いに行ったのですが、「あいつを代えられないなら、保護者会解散か、おれが監督辞めるかどっちかだ」とすごまれ、「監督にへそを曲げられたら子どもが困る」ということで、監督の言うとおりに会長職を解任され、まるで間違っていたのは自分のほう、みたいな扱いになりつつあります。

ずばり、自分の対応は間違っていたのでしょうか?
皆さん、ご意見をお願いします。