集団ランチを上手に断る方法

こんにちは。今までIT系の企業につとめており、ランチは自由気ままでした。基本は一人で、気が向いたときに親しい人と一緒に、というかんじです。みんながこのようにすごしていたので、一人で行動することが普通だと思っていました。 ところが、会社を辞め派遣で働き始めた勤務先が、女性の多い職場で、何でも常に「集団行動」なのです。 ランチは集団で会社内にある食堂でとります。だいたい社員4名＋派遣2名（自分含む）で、社員4名同士はもともとが同じ部署で、親しいのですが、私はそのうちの2名とは同じ部署で仕事で関わっていますが残り2名とはかかわりがありません。 社員の都合で人数が６～８人に増える日もあります。（社員が、食堂で会った親しいひとに声をかけ、集団ランチに加えるので） もう一人の派遣の人に「一人でランチへ行ってはいけないのか」とたずねたところ、ここは一人でランチをすると「協調性がない」と思われてしまうそうです。同じ部署内で集団でランチをとらないと「あの部署は仲が悪い」と思われるので、仕方ないから社員についていっているとのことでした。前にいた派遣の人はこのランチが苦で辞めたそうです。 社員と派遣も、年齢も少し離れていることもあり、話がいつも盛り上がるわけではありません。しーーんとしたまま、黙々と食べている時間が長く、なんのために一緒にランチをしているのかわからなくなります。 こちらも気を使って話しをしたりしますが、社員があまり乗ってこないことが多く、このような生活が1年半、毎日続いているためにだんだん疲れてきました。 いまさら集団ランチを抜けることは難しいとは思いますが、なんとか打開策はないでしょうか。このままだと会社へ行くこと自体が憂鬱になってしまい、気が病んでしまいそうです。昼休みくらいは自由になりたいのですが・・・。派遣先の風習に従うしかないのでしょうか？