一人で食事をしたいのですが断り方を教えてください

初めて投稿します、よろしくお願いします。

今年4月から新社会人となりました。
同期1人と同じ部署に配属となり、同期と一緒に研修を受けています。仕事内容については覚えることが沢山あり大変ではありますが、やりがいがあって頑張っています。

問題は、同期と研修を受けるために昼食時間が重なり、一緒に昼食を共にしなければいけないことです。
最初は同期であり、また同じ部署で長く働いていくから、と思い話しかけていました。
しかしだんだん話すことがなくなり、さらに同期から昼食に誘うのに向こうから話すこともありません。また、同期と勤務していく中で、勤務態度やマナー（トイレで手を洗わない)など気にかかる場面に何度か遭遇し、距離を少し置きたいと思っている自分がいます。

今後、仕事をしていく上で私情を挟んだら業務に支障がでると思うので、仕事中は私情を挟まずに働こうと思っています。

しかし、昼食時間だけでもせめて1人になりたいと思っています。休憩時間は音楽を聴いたり本を読んだり気分転換したいです。
何度か1人で食事をするために、やらなくてはいけないことがあるから、とか理由をつけて断ろうとしました。しかし、じゃあ待ってるからと言われたり、LINEでここの席にいるから後で来てね、など言われてしまい、どうしようも断れない状態になっています。
電話が入ってたから先に食べててと言って断ることもありました。しかし、その手も何度も使えません。
何か良い断り文句はないでしょうか...？
皆さんのご意見お伺いしたいです。