夫が浮気をしたが離婚をしなかった方アドバイスお願いします

結婚４年目を迎えました。現在３４歳で結婚を機に、正社員だった仕事を辞め、現在は派遣社員として働いています。子どもはいません。
実は夫が、以前交際をしていた女性と最近、メールのやりとりをしていることがわかりました。その女性と夫はかつて同棲をしていました。
以前、そのことが発覚した際に、私は連絡を取らないで欲しいと夫に伝えました。その後、暫くは連絡は取っていなかったようですが、最近は毎日のようにメールをしているようです。

そのことで夫を問い詰めまたところ、ただの友だち。心配するようなことは何もないと言っていました。夫いわく、相手に対し、そういう感情は一切ないとのことで、今後会うつもりもないとのことでしたが、メールのやり取りをやめることは嫌なようです。
メールの内容は、冗談とも取れる内容ですが、見過ごせないようなショックな内容もあり、さらに不安は募るばかりです。向こうから来たメールに対して返信しているとしても、毎日というのはちょっと理解ができません。夫の職場と彼女の職場が近いこともわかっており、実際に会ったりするのではないかととても不安です。（現時点ではないことはわかってます。）

今、私は取るに足らない心配をしているだけなのでしょうか。夫には以前と変わらず愛情があり、このことがなければ普通に幸せな夫婦です。そろそろ子どもが欲しいと考えていて、子どもが生まれたら、夫は変わってくれる（彼女の興味がなくなる）のではないか、また例え今後浮気をするようなことがあったとしても、それは一生続くわけではない一過性のことと受け流すくらいの強さが必要なのかもしれない…という考えもあります。
この先、離婚をするつもりがないのなら、もし実際に夫が浮気をした場合、その時わたしは気持ちをどう持つべきでしょうか。アドバイスお願いいたします。