噂になってる女性と飲みに行く彼、気持ちの整理

私はいまお付き合いしている男性がいます。仕事の都合で、周囲には完全に隠しています。 彼の友達Bの友達でAという女性がいます。Aと彼とB含む数名で朝帰りする等、派手な飲みっぷりで有名です。 以前居合わせた際、大人数の中、彼とAは2人で騒いで盛り上がっていました。いつもそんな感じらしく、今では彼がAを大好きということになっています。Bが私含め周囲にその話をしており、彼のためにAを飲みに呼んだりしています。Aも知っていて、彼はダサいから絶対ありえないと言っているようです。 諸々心にしまっていたのですが、あるとき、ここまでの状況を彼が知りました。Bが勝手に呼ぶからよく飲むだけ、Aの連絡先も知らないし私とのことを隠すのに都合が良いからほっとく、傷つけてごめんと言ってました。Aもそう思ってること、何と言われてるかは彼は知りません。 しばらく後、彼が夜から翌日まで一切連絡が取れないことがありました。普段は自分のことばかり話すのに妙に隠す感じがあり、結論、A含め何人かで朝まで飲んでいました。 彼を束縛して良い理由はないので、責めたり問い詰めたりは一切していません。 ただ、感情がついていかず、辛くて苦しいです。雰囲気を悪くしないよう、楽しめて良かったね！と明るく言うだけで精一杯でした。 彼自身、何事もなかった態度です。私も普段通り振る舞わないと、とわかってはいます。 どうやってこの気持ちを消化したら良いのか、わかりません