同僚の女性と食事に行くのが疲れます。

私の職場は男性3人、女性2人、全部で5名の少人数の職場です。

来月、もう一人、女性が入ってくる予定です。私以外のもうひとりの女性は外国人で、
流暢な日本語を話し、社内のコミュニケーションも全て日本語です。

けれど、日本語の理解のせいか、ちょっとしたことでずれや誤解が生じることが多く、
何気ない話題でも、いちいち説明しなければならないのが、正直疲れます。

しかし女性二人きりなのでどうしても接触する時間が多く、せめて昼ごはんだけでも
別にしようと思うのですが、誘われると断れません。自分でお弁当を持ってきて
「社内で食べるから」と何気なく断ったのですが、「それなら私も買ってくる」と
いわれてしまい、結局一緒に食べることになりました。

絶対にいや、というわけではないのですが、とにかく食事までずっと一緒にいると
疲れて仕方がないのです。かといって、あからさまに嫌な顔をして、ほかの男性に
仲が悪いと誤解されたりするのも嫌です。

やんわり断る方法、ないでしょうか。
今度もう一人女性が入ったら、3人で毎日昼ごはんかと思うと、今からどっと疲れて
しまいます。なにか、昼ごはんのストレスから開放される方法はないでしょうか。