自分の嫌な人達の飲みに行く彼の送り出し方

こんばんは。突然ですが読んでご意見頂けたらと思います。 私と彼は元々同じ職場の上司と部下でした。その立場になる前から友達としてずっと仲良く、とっくにお互いその職場は辞めていてひょんなことから付き合いだした感じでもうすぐ1年になります。片道バスで3時間の遠距離恋愛をしております。 彼は40歳、私は34歳です。 彼は立場もあったため未だに当時の職場の人達とはそれなりに交流があり連絡や飲みの誘いもよくあります。 ただ私と付き合った際、私がその職場が苦手だったこと、彼が交流ある人達の殆どを苦手だった話をしたことがあり 『別に俺も自分から交流求めてたわけじゃないしひよこが嫌なら極力関わらないようにする』 と言ってくれてました。 とはいえ元からの交流もあるので絶対やめてとは勿論言いませんし、言える立場ではないのはわかってます。苦手なのは彼じゃなくて私ですし。 そして彼は割と多忙で飲みに行く暇も最近はあまりないので断る事が多かったようです。 本題ですがコロナ禍中の今、 是が非でも来てくれって誘われたから飲みに行ってくると言われました。 コロナに気をつけてと言いましたが… その誘われる場には彼の事を5年以上も好きで貢ぎまくっていた女性がいます。その事もあるから私は余計嫌なんです。 でも行くそうです。 ただ彼と飲みたいだけなんですよね、みんな。 人気者です。 まぁその女性はプライベートで会いたいから他の人に誘わせたのはあると思います。 そんな風に言われたら行くんか？じゃあ私が是が非でも会いに来てって言ったら来るんか？こないじゃん。 極力関わらないようにするって言っときながらそれはその極力なんか？ だんだんモヤモヤして腹が立ってきました。 行くなとも嫌とも言いませんでした。 前は行ってもいい？って聞いてきてたのにそれすらありません。 どうしましょうこのモヤモヤ。