お昼はだれと？

みなさんは、 同じ部署の人と必ず ランチに行ってますか？ 私は、 同じフロアだけど 他部署の人と二人で ランチに行ってました。 が・・・ 最近、私の部署に 新人が入社し、三人で ランチに行くように なったのですが、 仕事が絡む人と、 常に行動を共にするのが 面倒です。 少人数の部署なので 仕方ないとは 思うのですが、 新人が慣れたら 別々に行きたいなぁ って思うのですが どう話を持っていけば よいか悩んでます。 そこで、 うまい断り方があれば、教えて下さい。