結婚したのに、、、（彼女の事を思い出してしまいます）

長くなりますが最後まで読んでくださると嬉しいです。
私は学生時代、女性の方と4年程お付き合いをしていました。
元々女性が恋愛対象では無かったのですが性別を越えてその方を人として好きになりました。
その方が私の中で本当に心から好きになった方でした。
私が社会人になり彼女は学生だったのですれ違いが多くなり「好きじゃなくなった」と言われお別れをしました。
それから数年経ち、私は今の旦那さんから猛アプローチを受け凄く好いてくれて嬉しかったですしここでこの話を受けなければ結婚できないんじゃないかと思い結婚しました。
ですが、正直なところ旦那さんの事は凄くいい人だとは思うけどトキメキがなくまだ新婚なはずですが新婚と言うよりは同居人といった感覚になっています。

そんな中最近彼女から連絡がありました。
今までは忘れなければいけないとおもい
会うことを拒んでいたのですが
やはり私自身も会いたいと思ってしまい
結婚していることはお伝えしランチだけを共にしました。
昔に戻ったようで本当に楽しくて一緒に居たいと思ってしまいました。

結婚もしていて旦那さんだけを
見なければならない事はわかっているのですが
どうしても彼女の事を思い出してしまいます。
こんな風に思い出して戻りたいと思って
しまう自分に腹が立つしすごくモヤモヤして
相談をさせて頂きました。

アドバイスお願い致します。