職場のチームに誘われているが

始めまして。
今度２６歳になる社会人２年目の男性です。
相談させていただきいことは、職場での付き合いについてです。

私は学生時代からある競技をやっています。
もちろん、オリンピックどうこうのレベルではありませんが、全国大会に出場しています。
あくまで趣味ですが、真剣に競技として取り組んでいます。

今春に配属された事業所では、そのスポーツの同好会があります。
ただ、競技ではなくみんなで楽しくやりましょうとの趣旨の集まりです。
一度、同じ趣味ということで誘われたのですが、全く自分に合わないことが分かったため、そのあとの誘いは断っていました。

しかし、職場の上司から「同じ趣味なんだからみんなと活動したら」と何度も誘われています。
（上司も趣味は同じです）
ただ、競技とは全く違うアプローチで、私はインターバルトレーニングなどをしたいのに対して、
その同好会は楽しくひと汗流した後の宴会がメインのような活動です。

もちろん、そのような楽しみ方を全く否定するつもりはなく、単なる指向の違いなのですが、
上司からは「俺たちとは馬鹿らしくて付き合えないというのか」としつこく言われています。

ほぼ毎週末その同好会は活動していて、それに付き合っていたら肝心のトレーニングがまともにできません。

社会経験が浅い私に、このような場合の職場での付き合い方について教えていただけないでしょうか。

（以前の事業所では、同じ趣味が全くいないので変人扱いされながら放置されていました）