元遊び相手と飲みに行った夫

結婚1年未満、夫28歳、私26歳、子供なしの共働きです。
先日夫から当日昼に「今日飲みに行っていい？」とLINEが来たので、珍しいと思いつつ大丈夫と返しました。仕事終わりに2時間ほど飲んで帰ってきた夫に世間話程度に「何人で飲んだの？」と聞くと、「4人」と答えました。私と夫は職場は別ですが知り合いが数人いるので他意はなく「誰がいたの？」と聞いたところ明らかに態度が変わって「そういうことを聞かれるのは嫌だ」と言われました。なんとなく嫌な予感がして問い詰めたところ本当は職場の女同僚(私も顔見知り)と2人で飲みに行っていました。
夫は最初ただの同僚で深い関係はないと言っていましたが、疑惑が払拭できず「正直に言わないと相手に直接聞く」と言ったら、過去に数回体の関係があったことが判明しました。ちなみに相手の方は結婚していて、子供も1年前くらいに生まれたばかりです。夫が独身時代に不倫していたこともショックでした。
私と結婚してから体の関係は一度もないと言っていますが、LINEを見せてもらったところ、「また昔みたいにいろいろしたい」「まだ○○ちゃんが好き」など、見るに耐えないやりとりをしていました…。
結婚後に体の関係があったことに関してのみ夫はハッキリ否定していますが、正直どうかな…と疑っています。しかし体の関係がなかったとなると不倫にあたらないと聞き、今後の対応に迷っています。
みなさんだったらこの案件で「離婚」というワードまで発展しますか？夫は離婚はしたくない、相手が好きというのはノリ言っただけ、もう一度チャンスが欲しいとお決まりのセリフを言っています。しかし元遊び相手と内緒で2人で飲みに行く夫を心から軽蔑しましたし、最初から最後まで悪あがきのように嘘を重ね続けられ、信頼関係は崩壊したと感じています。
また相手へ2人の関係を知っていると伝えるのはやめるべきか否かもご意見頂戴します。