婚約者の過去の恋愛が苦しい

バツイチの彼と婚約し、現在同棲中です。 彼は元々職場の同僚で、1年以上のアプローチをうけ交際に至りました。 ですがお付き合いを始めてから、彼が過去、元奥さんとの別居中に、同じ職場のとある女性と数年間男女の関係にあったことがわかりました。 その女性は私もよく知っている人で、その女性から直接打ち明けられたことでその事実が判明しました。 そのことを彼に話すと、 当時は離婚調停などで投げやりな精神状態だったこと その女性とは再婚などするつもりはなかったが、趣味のスポーツが一緒に楽しめたため惰性的に関係を続けてしまったこと 私へのアプローチを始める際に関係を絶ったこと を聞かされました。 彼は、私を大事にしてくれ、一緒にいて楽しいので今後結婚したいという気持ちはあります。 ただ、私と付き合っている間のことではないとわかっていても、その女性が知り合いであることと、好きでもないのに関係を続けたことが理解できず、その女性の思い出すと不快でたまりません。 私も浮気されてしまうのではないか、本当はその女性のことを愛していたのではないか、などと考え当時のことを彼に問いただしてしまうこともあります。 彼の趣味だったスポーツも、そのことの元凶のように感じてしまい嫌な気持ちになることを話すと、 もう一切やらない、と悲しそうに言われてしまいました。 今後結婚してもこのトラウマのような感情は消えないのだろうか、 彼も趣味をやめることになったり責められる思いをして私といないほうが幸せなのでは？と迷ってしまいます。 パートナーの過去の恋愛や浮気に悩んだ経験のある方、どのように乗り越えられたかアドバイスお願いいたします。