結婚後も元彼の記憶が蘇ってくることってありますか

結婚９年目、３０代の主婦です。
私は主人と出会う前、大学時代に別の男性と交際していました。
彼は１年先輩で私が初めて交際した男性でした。
私が就職してからお互い行き違いが多くなり、性格的な不一致も目立つようになって、結局４年ほど交際したのち私の方から振って別れました。
その後しばらくして今の主人と出会い結婚しました。

主人に抱かれていると、とても幸せな気分になれます。
でもそのときに、元彼に抱かれたときの記憶が蘇ってくることがあるのです。
もう１５年近くも昔のことなのに。
今私が愛しているのは主人だけで、元彼にはもう何の感情も持っていません。
むしろ、主人が私の初めての男性ではなかったことを後悔しているくらいです。
こんなこともちろん主人には言ってませんし、主人にはとても申し訳ない気持ちで一杯です。

既婚女性や婚約中の皆さんはこのようなことはありますか？
過去の男性との記憶が鮮明に思い出されてしまうのは私だけでしょうか？