不倫後の夫婦再構築方法

妻が3ヶ月程職場の同僚と不倫してました。
相手も既婚者（子供あり）でした。1ヶ月前に偶然見たLINEのやり取りで発覚しました。現在は夫婦関係の再構築に向けてお互いに向き合う時間や家族で過ごす時間を増やし、私自身の今までの行動を振り返り、自分のことも反省しているところです。
妻のことは大切ですし、一緒に居て楽しいです。妻も反省していると思うので、今後このようなことはないと信じています。離婚は考えませんでした。子どもが3人いますし、自分の改善すべき点もあったと思います。

しかし、妻がスマホを扱ったり、休日出勤したりすると、動悸がして嫌なことを思い出してしまいます。
妻も私に安心してもらうために色々と気を遣ってくれていることが伝わってくるのですが。。。
妻を信じると決めたのに、そんな風になってしまう自分がとても嫌です。
私の気持ちがまだまだ追いつかない状況かと思います。
だからといって、私が妻のスマホを管理したり行動を制限したり、相手を縛るようなことをしたくはありません。そんなことは本当の愛情とは違うと思うからです。でも本当は物凄く気になって仕方がなく、仕事中も不安な気持ちのままです。

この様な状況で、本当に関係を再構築できるのでしょうか？
言葉で言うのは簡単ですが、気持ちが追いつかない自分が情けなくなります。私に元気がないと、妻にも心配をかけるし、子どもたちも心配するので、そういうところも気になります。苦しいです。この気持ち、どうすれば前に進めるでしょうか？
アドバイスよろしくお願い致します。

補足
妻が言うには体の関係はないとの事です。LINEでもそういった内容はありませんでした。また、慰謝料も請求していません。誓約書に関しては、内容を考えて相手方に署名をもらおうと思っています。