浮気？夫の気持ちが理解できません。離婚もあり？

私一人で考えていると考え方が偏りそうなので、みなさんだったらどう思うか？どうするか？を教えていただきたいです。

夫、私、１歳の娘の３人家族です。夫は子供にもとってもよいパパだし、私との夫婦関係も良いと思います。
完璧な奥さんではないけど、夫を思いやっているつもりです。セックスレスでもありません。

ですが、浮気？のようなことがあるようです。
？を付けた理由は、メールのやり取りがある程で最近会った形跡はないのです。（携帯を見たことについては私自身も悩んでいますので、その点は責めないでください。見ていいものではありませんね。）

相手は遠く離れた故郷の同級生で、
久しぶりに会えることを楽しみにしている、旅行が楽しかったのを心の支えにしている（私と結婚後）、というものでした。
数ヶ月前にも逢いたいとかいちゃつきたい内容のメールをしていたようです。

実際に会っているわけでもないのなら、責める必要はないのかもしれないと、思いますが、旅行に行った事実があるならとても許せそうになく、何事もなかったように私に接する夫をだんだん気持ち悪くさえ思ってきています。旅行の日にちはあいまいですが、そのころに夫が別の理由を付けて泊りがけで出かけたことは覚えています。少し変だと感じてもいました。

また、これ以前にここ１年半の間に、女性関係などで３件ほど私にとっては大変ショックなことがあり（詳細は個人特定されると困るので控えます）その都度夫婦関係を考え直し、一度は私が実家に戻り期間をおいて話し合って、また仲良く頑張ろうということになっています。

まだその傷が癒えないのに、平然とメールしたりしている夫の神経がわかりません。ああ、きっとこの先も繰り返されると思うと離婚も考えます。絶えられそうにありません。

限られた情報で申し訳ないですが、ご意見お願いします。