職場のＫＹさんに慣れたい

トピを開いていただきありがとうございます。
現在、週３～４日のパート勤務をしている４０代後半（女性）です。その職場での４５歳、男性（独身）の方（Ａさん）の相談です。

昼食を職場の会議室で社員さんと同じパート（Ｂさん）との３人でしています。時間は１２時～１３時です。
数か月前からＡさんがお昼休みの途中から参加されるようになりました。Ａさんは社食で食べてからの合流です。
最初は１２時４５分くらいからだったのですが、時間がどんどん早くなってます。決して悪い人でもなく、嫌味を言ったりも一切ない話題豊富な人なんですが。
とにかく、お話ししたいみたいで、自分の興味のないことにも無理やりに入ってきます。（例：料理をしないのに料理の話にも関連知識の披露をされます）
Ｂさんが同じグループで仕事をしているので何度か「もう少し、遅く来てください。食事中に来られると気を遣うので」と言ってくれたのですが、一時的には遅くなりますが、またジリジリと早く来るようになります。
１度、Ｂさんがお休みの時に早く来られて、まだ食事中だった私と社員さんに対して「（食事中でも）気にしなくていいですよ」と言われ、心の中で「気にするのはこちらですが」と思ってても言えず。
最近は私は食事が済めばＡさんが来る前に自分の席に戻るようにしています。
ただ、Ｂさんがお休みの時は社員さん１人を置いて、席に戻りにくいんです。
そこで、お知恵をいただきたいのですが、
・どうすれば、３０分くらいＡさんに対して、イヤな思いをせずに対応できるか
です。
同じ職場（仕事は違う）ですし、悪い人ではないのに一方的にしんどく思っている心の狭い私に、何かいい方法を教えてください（たかだか３０分がしんどいんです）。
（ちなみに社員さんは、平気なようです。Ｂさんは我慢できるそうです。）