教えてください。

28歳バツイチ男です。3年前に妻の浮気で離婚しました。
2年程付き合う間に3回浮気をされ好きだったのでそれでも好きだったので結婚したのですが結婚してからの浮気、不倫と呼んだ方がいいですね、それが許せませんでした。その後3年程何もなく過ごして来ましたが、先日2つ年下の女性と仲良くなり、食事をする機会がありました。食事を終え帰り際、やたらと先に帰そうとする女性に違和感を覚え少し話していると別の男性が迎えに現れました。お酒を飲んでいたせいもあるのか私の本性なのかわかりませんがその瞬間に前妻に浮気をされたことが一気にフラッシュバックしてきて馬鹿にするなよと怒ってしまいました。相手側からはまだ付き合ってもないのにそんなこと言われる筋合いないと言われました。冷静に考えるとごもっともだと思いますが、やはりこの様な事はよく起こることなのでしょうか。
少しでも似た体験のある方、なにかご意見を頂けたらと思います。駄文申し訳ありません。