私が神経質になりすぎでしょうか？

偶然、６ヶ月の娘が遊んでてメールの送信欄が開いて見慣れない名前だったので悪いと思いつつも覗き見てしまい、それが妻と元彼とのメールという事がわかり、妻の元上司で愛人だと。妻も別れてその後会って無いとの事。でも、内容が私とケンカの時、上司とのあの頃は楽しかったとか、私との結婚が失敗だったとか、妻の両親が私の事を嫌ってるなどの文面を見て問い正したら、別れてるし、世間話だから何が悪い？と開き直られ、ケンカすると頭に来てメールしてるとの事でした。私は妻よりも相手を許せません、妻は相手に迷惑だから、連絡しないで、これからはメールしないと言われました。妻は今でも愛してますし、私も離婚を考えていません。妻が以前不倫した事があるが元上司とは違う人、仲の良い友人としてメールするのは気にしてませんでした。でも嘘だとわかり、今、悩んでいます。妻を都合よく弄ばれているようで相手が許せません。今後、妻と暮らしていく為にどうすればいいか、意見を聞かせて下さい。お願いします。