夫婦関係の修復

はじめまして。多数のご意見を伺いたくて投稿させて頂きました。
結婚して2年。子どもはまだいません。不妊治療をする以前に、ホルモンのバランスが悪いことがわかり、今薬で様子を見ている段階です。
そんな中、旦那が毎日のように、こそこそラインしている女の子がいることが判明しました。肉体関係などはまだ無いようですが、『添い寝してあげるのに』とか『ギュッとしてあげる』など恋愛ごっこのような会話を楽しんでいる感じです。（実は、一年前にも同じようなことがあり、激怒しました。）核心まではついてないのですが、それとなく探ってみて、
『他で安心できて、一緒にいて楽しいと思う人ができたら、別れてね。』
『無理してまで夫婦関係続けなくていいからね』
と言うと、
『なんで？そんなこと今まで思ったこと無いよ。』
と言われ、それ以上踏み込むと、また離婚話になると思い、
『ふーん、ならいいけど。』
と、流しました。
ただの遊びだろうし、気にせず普段通りの生活をしようと思っているのですが、やはり、気になって気になって仕方ありません。野球を観に行く約束もしていて、旦那がその日のチケットを買っているのも知っています。こそこそラインしたり、妻に黙って遊びに行くって、やっぱり悪い方に考えてしまいます。
私も気づかなければいいのに、勘が冴えてしまうのか、旦那のツメが甘いのか、すぐに何か隠してると分かってしまいます。そのため、ダメだと分かりながらも、携帯を見てしまいます。

相手を信用したいのに、出来ていないことが辛いです。出来ることなら、信用し、安心し合って仲良く暮らし、子どもも産みたいと考えています。
同じような状況から、夫婦関係を修復された方はいらっしゃいますか？
何かアドバイスがあれば、教えてください。