食事会に苦手な人が参加。どう対処すればいいですか？

３０代の夫婦、小学生の子供が二人おります。
5年ほど前から、家族のような付き合いをしているＡさん（６０代男性）がおります。この方は私達夫婦が仕事を通じて知り合った方で、家族を亡くされて一人暮らしをしており、私達家族と食事に行く事がものすごく楽しみだといつも言ってくださいます。子供達の事も孫のようにかわいがってくれています。Ａさんからは、週末になるとよく食事の誘いの電話があります。実際に行くのは、1.2か月に一度位です。食事の代金をいつもＡさんが支払ってくださっていて、申し訳ないので頻度を少なくしています。（Ａさんより先に会計を済ませたこともありますが、「変な気を使うな！」と叱られ、その後はいつも甘えています。お土産やお酒などを渡す程度にしています。）

Ａさんとの食事はいつも楽しく時が過ぎます。しかし３回に一回位、Ｂさん（40代女性）が参加されます。この方も仕事を通じて面識はあります。実はこのＢさんの事が、私達家族はみんな苦手なのです。言うこともキツイし、人の悪口ばかり言って、せっかくの食事会が重い空気になります。でも、Ｂさんのことを誘うのはＡさんです。しかも、いつも約束をした前日にＡさんから電話で「Ｂさんも誘ったから、乗せてきてあげて」と言われるのです。食事代を払うのはＡさんなので、誰を連れてきても文句は言えません。でも、もう子供も嫌がっており、一緒に食事をする事が苦痛です。Ｂさんの事が嫌だと言えず、もうＡさんとの食事もやめた方がいいのか悩んでいます。食事を断ると、多分すごく気を落とされるとは思います。私は、どうしたらよいでしょうか？　

補足　Ｂさんも家庭がありますが参加はＢさんのみです。ＡさんとＢさんが二人で食事に行く事はありません。Ｂさんは我が家の予定に必ず合わせてきます。わかりにくい文章で申し訳ありません。