夫と独身女性との付き合い

皆さんのご意見お聞かせください。

夫婦共に40代前半、結婚して15年程、共働きで、子供はいません。
数年前、偶然、夫の軽い浮気(メールでいちゃつく程度で、大事になる前に発覚したので、それ以上の問題にはなりませんでした)が発覚し、それ以来、彼を100%信用できなくなりました。
その後、また別の女性(仕事の取引先の人のアシスタント)と、こそこそ連絡を取っていをいて(携帯メール)、その内容からその女性をランチに積極的に誘っている様子だったので、彼に質問をしたら、彼は「彼女は彼氏もいるし、まだ都合が合わなくて、ランチには行っていない」との事でした。
その後は特に表立った動きも見られませんでしたが、数ヶ月前に私が1週間、旅行で家を空けている際に、また彼女を誘っていたことが発覚しました。その時の言い訳は、「今彼女も彼氏と分かれてシングルなので、同じくシングルの自分の従兄弟を紹介するつもりだった…。従兄弟に聞いてもいい。その従兄弟もしばらく不在だから、彼が戻るまでは、彼女と連絡をとることもない」とのことでした。
そういう事なら、わざわざ私が不在の時を狙うことも無いだろうと思いましたが、その時は流しました。
ただ昨日、偶然、夫の携帯に彼女からのメッセージが入っているのを見てしまい、状況からいって、彼は彼女とコンタクトを取り続けていて、そのメッセージを気づかれないように消していたことが明らかです。何も後ろめたい事がないなら、なぜ消すのか聞くと、「お前にまた何か言われるのが嫌だった」との事です。
彼の言い分も分かりますし、二人の間に何かがあったとも思っていませんが、嫌な気分で、彼を信じられません。
皆さんは、ご自分のパートナーが、あなたの知らない所で、自分の知らない独身女性とランチに行ったり、こまめに連絡を取り合っていたりする事についてどう思われますか？
私は過剰反応し過ぎでしょうか？