浮気未遂？別れるべきか…

20代女性です。
付き合って3年弱経つ彼がいます。
お互いに今までにないくらい大好きで、こんなに愛してくれる人は居ないと思っていました。
お互い過去に浮気をされたことがあり
だからこそ浮気を軽蔑していたし
私たちはそんなことが絶対にあってはいけないと思っていました。
お互いにもう異性を信用できないと思っていましたが、彼のことは心の底から信じていました。
ですが最近彼は上司と出張で県外に行きました。
その上司が辞めることが決まっていたため、
楽しませてあげたいと思い相当飲んだみたいです。
最初の居酒屋で潰れて意識がなく
そこからの記憶がないそうです。
上司の話によるとその後キャバクラに行き、
また別の居酒屋に行き、そこでたまたまキャバ嬢が来たから一緒に飲んで、ホテルで飲み直したそうです。
彼は既に潰れていたため、彼の部屋に運ばれ
そこで飲み直し。
そして朝起きたら知らない女が寝てて
終わった、となったそうです。
本当に記憶が何もないらしく、
上司たちも記憶が曖昧みたいです。
ホテルで何回か起きては上司に対して
今までありがとうございましたと
何回も言ってたとは言われたらしいです。
男3人と女3人で1人の女は帰り、男達も出ていき
彼の部屋には彼と1人の女がいたそうです。
自分は目を覚ましたら机に伏せて寝るみたいにベッドに頭だけがあり、女は普通にベッドで寝ていたと。
お互いに服は着ていたらしいです。
私的には嫌だけど、浮気と言うのかな？って感じだし、でも彼は信頼を失う取り返しのつかないことをしてしまい
もう隣にいる資格がないと罪悪感に駆られています。
正直私なら言いません。
職場の仲間達で飲んで誰かの家で飲み直してそのまま泊まるっていうのも正直想像できます。
でも彼は自分だったら絶対許せないしその事が付き纏うから終わるべきと思ったそうです。
どう思いますか？