旦那の浮気未遂が忘れられない

結婚して1年半になります。子なしです。
結婚する前、旦那が1ヶ月間名古屋に出張になった時があり、その出張先の人と浮気疑惑があります。出張先でもドライブしていたりしてて、帰ってきてからも私に嘘をついて会いに行っていた事がありました。
その時は「浮気はしていない、女友達に会いに行くと言ったら許してくれないと思ったから嘘をついた」と言っていました。
じゃあもう連絡とらないでほしいと言ったのですが、取引先だから連絡はとらない訳にはいかないと言っていて、2年ほど経っている今でもLINEや電話をしています。(LINEはトークを非表示にしていて、電話の履歴も消しているようです。)
ただ、出張先の女２人、旦那、旦那の後輩で仲良くなったみたいで、２人とも旦那と彼氏がいて子どももいます。(浮気疑惑がある方はバツイチ)なので本当にただ仲良くなっただけなのかなとも思います。

嘘をつかれて会いに行ったこと、頻繁に連絡を取り合っていてその履歴を消したりしていることなどがあるので、旦那の事を信じることができません。私も不安で旦那のスマホを勝手に見たりしているのでお互い様なんですが、こんな辛い暗い気持ちで過ごしていくなら子どもができる前に別れた方がいいのかとも思います。

でも旦那の事は大好きで一緒にいる時は幸せです。毎日こんな情緒不安定な感じでどうしたらいいのかわかりません。
皆さんの意見聞かせて下さい。