上司が拗ねた？

こんにちは。
８月末にある職場での送別会の件で相談したく投稿しました。
２年以上働いて、８月末で自ら契約更新しなかった派遣さんの送別会の幹事をする事になりました。
派遣社員は厳密にいうと社内の人間ではないとのことで男性社員との飲み会は禁止されてる職場です。

最初は女性ばかりを１０人弱集めて送別会しようとしていたのですが、
直属の上司である課長（独身：以下Ａ）が
「送別会しような！」みたいなことを言ったので
総勢１５人程度のお世話になった方々を（男性社員も含み）呼ぼうと、こっそり声をかけていました。

そして別の課の課長（妻子持ち：以下Ｂ）一人にも声をかけました。
この方は、今こそは別の課ですが以前は派遣さんもお世話になったこともあり二人で話し合って声をかけたのです。
が、ＡにはＢを誘ったことが気に入らなかったらしく、残業時私しかいないときにＢと派遣さんとの噂を知らないのか？付き合ってるという噂はみんな知ってるぞ！プレゼントもあげたり貰ったりしてるんだ！だいたい別の課にいるのにそのＢだけ誘うのはおかしい！Ｂと派遣さんが付き合ってるというのは本当のことなのか！？と詰め寄られました。

確かに噂になっていることは知っています。
会社終わりに派遣さんとＢが何回かご飯にいったことがあるのも本人から聞いたことがありました。
付き合ってませんし、私もＢから誕生日のプレゼントを貰ったりしてますよと言っても納得がいかないらしいです。（プレゼントは私も派遣さんもコンビニのお菓子程度です）

しまいにはＢがいくなら私はいかない！と言い出したのです。
２年以上お世話になった直属の上司Ａを呼ぶか、Ａは行かないといってるのでＢにそのまま来て貰うか。
こういう場合どうしたらいいですか？
ちなみにＡ，Ｂは派遣さんと私のお父さんと同じくらいの年齢です。