週末の会社のイベント

５月の週末に私の働く会社がスポンサーになっているイベントがあります。 このイベントにうちの部署はなぜか必ず参加しなければなりません。 上司が決めたのです。会社のほかの部署はもちろん自由参加です。 大きなイベントで過去３年は私も参加したのですが、別にうちの部署で何か特別なことをするわけでもなく、ただ４－５時間そこにいるだけで解散でした。 会場は自宅から１時間半以上離れているし今年は行きたくありません。 しかし、上司はうちの部署は必ず参加するよう強制します。私は子供もいるし、役職もなしの事務の仕事で、昇給、昇格など望んでいません。 断る私は問題がありますか？