アドバイス下さい：一人ランチについて

30代半ばの女です。去年失業してから、転職活動と同時並行で短期のアルバイトを行い、今月からまた
1カ月程度の短期アルバイトが決まっています。私は会社の業務に必要なコミュニケーションは普通に
できるし、仕事中でも少々の雑談程度ならできるのですが、昔からあまり社交的でなく、集団行動や
雑談したりする事が苦手な、無口な性格です。職場では一人でランチしたいと常々思ってきたのですが、
今までの職場では何のしこりもなく一人ランチする事ができませんでした。集団の中で食事しながら
ワイワイお喋りするのに参加するのがとても疲れるし、2，3人の少人数でも、話題や波長が全然合わない
人と毎日食事しなければならない感じになってしまって毎日苦痛でした。短期アルバイトの時も、特に
女性が多い所は同僚と一緒に雑談して食事するというのが当たり前のような雰囲気でしんどかったです。
今まで「職場のお昼も仕事のうち」、短期アルバイトなら「あと○日間の我慢だ」と自分に言い聞かせて
できるだけ我慢してきたのですが、正直辛いです。
今決まっている短期アルバイトの採用人数は私を入れて2人だそうで、私と一緒に仕事していく
人がどういう人なのか現時点では分かりませんが、お昼の休み時間は、息抜きしたいのはもちろん
ですが、携帯で応募先の会社に電話連絡したり、求人サイトをチェックして少しでも求職活動を
したいし、お昼休憩の時まで気を使って仕事相手と一緒にいたくないので、今度の短期アルバイトから
は「お金をもらいに来ている所」と割り切り、お昼は「外に行きます」と言って最初から一人ランチ
し、万が一何か言われたら「息抜きしたいので」などと言って切り抜けようと思っているのですが、
会社で一人ランチしていらっしゃる方、どうやって一人ランチできるようになりましたか？
また同僚から何か言われた場合、どのように答えますか？