同僚と食べ物の好みが合わなくて辛い

私は、辛い食べ物や、スペイン料理、韓国料理、ペルー料理やビアガーデンなどが嫌いなのですが、同僚たちがこれらの料理が好きで、よくランチや飲み会などに行きたいと言います。

私は、歓送迎会や忘年会や新年会にはきちんと出席しますし、ある程度の職場の付き合いは必要だと思うので、和食や中華、イタリアンの時は、参加しようと思いますが、元々、同僚たちと飲みに行きたいともあまり思わないし、ランチを一人で食べるのも平気なので、嫌いな食べ物のときは、「私は苦手なので、皆さんで行ってきて下さい。」と言うのですが、「さしさんが、辛い物が食べられないなら、違う店に行こう。」と言ってくれます。
が、正直これが迷惑なのです。私から同僚たちを誘う事はないので、最初はいつも同僚たちの好きな食べ物の話になるのですが、結局、私が食べられないため、最終的に私の好きな食べ物になる為、いつも私が我儘を言って、みんなに合わせてもらう形になり、申し訳ないのです。

また、同僚たちが、私にではないですが、男性の話をするときに、「好き嫌いの多い人は、一緒に食事を楽しめないので、付き合っても楽しくない。」と言う話をよくしているので、私に合わせてくれながらも、正直、つまらないと思っていると思います。

無理して一緒にそれらの料理を食べに行っても、ほとんど食べられないので、同僚たちも気を遣うだろうし、私もお金を無駄にしたくないです。

皆さんなら、このような場合、どうされていますか？
うまく断り、同僚たちに好きなものを私抜きで食べに行ってもらうのに、
角の立たない言い方はないでしょうか？