お昼まで面倒見ないといけないのか…

40代正社員です。 派遣に仕事を教えたり面倒を見ることが多く、ほとんど女性で、女性の正社員が私だけと言うこともあり、上司からお昼もよろしくと言われます。とりあえず初日は誘って断られたらそれまでですが、初日一緒に食べたら「1人で食べたい人もいるだろから、次からは一緒でもいいし、1人でもいいしお任せします」と選択できるような状況にしています。とは言え、その後も一緒に食べることが多いです。 こんなことをしていますが、正直なことを言えば私が1人で食べたいです。 だいたい4・5人でお昼を食べるのですが、合わないなぁ…と思うタイプの人が来ると、だいたいこれまで一緒に食べていた人が抜けていきます。結局、私は合わないと思う人とお昼を食べることになり、こんなことの繰り返しで、元々女性のグループが苦手なこともあり私も疲れました。 もう私も1人で食べようと思っていますが、上司からのお願いも断りたいです。断ってもいいでしょうか。上司からのお願いを断れる言い方があれば教えていただきたいです。