会社の人たちとのイベントで。。。。

先輩２人とゴルフに行くことになりました。 でも、正直、ゴルフにまったく興味がありません。 でも、今の会社に入社して半年。 同世代の人がほとんどおらず、社員の平均年齢が40歳の会社で なんとか溶け込みたいと思って、 当初、その場のノリで「ゴルフを一度、試したい」なんていっていました。 ある日、先輩二人が私と友達をゴルフ練習に誘ってくれました。 友達はゴルフに大変、興味があると以前から話してました。 私は、友達も一緒のことですし、とりあえず行こうかなーと思って参加することにしました。 でも、友達が面倒くさいのを理由に、ドタキャンを計画中です。 私は、一人で先輩二人と一緒にゴルフの練習に行くっていうことを考えると、行きたくなくなってしまいました。 それには、40歳の二人の先輩と24歳の私では、話も合わないと思うし。 (もともと会話がヘタですが。。。) しかし、時間を作ってくれた先輩のこと考えると、私までも断るのは失礼でしょうか？ それとも正直に、断ってもいいものでしょうか？