自然消滅した元彼から連絡がきて以来元彼を思い出してしまう

私は大学に進学にしたけれど、高校生の頃付き合っていた彼氏が受験に落ちて予備校生になりそこで距離ができてしまい、自然消滅になってしまいました。それから心の中に穴が空いたように、特に楽しいこともやりがいもなく、異性にも興味が持てず、ただ大学生活を送っていました。そこで今の彼氏と出会い、付き合って周りの全てが輝いて見えるようになりました。付き合って2ヶ月後くらいに元彼から連絡がきて、(Twitterで連絡が来たけれど、お互いフォローしてません。)大学に受かったらしく会って話したいと言われましたが今の彼氏のために断りました。

それから元彼と付き合っていた頃のことを何度も思い出してしまうようになりました。何回も忘れようと思ったけれど、1人の時も今の彼といる時も思い出してしまうし、なんであの時ちゃんと話し合って、そばにいて欲しいって言わなかったんだろうとか後悔で夜泣いてしまうことがたまにあります。でも今の彼氏のことも大好きです。自分で自分の気持ちがわかりません。もう半年ほどこの気持ちを隠して今の彼氏と付き合っています。何度も彼氏にこの気持ちを伝えようとしたけれど、彼の顔を見ると好きな人を傷つけたくないという気持ちが勝って話せません。
今の彼氏とこれからも一緒にいたいと思う気持ちと元彼への後悔の気持ちの両方があり、どうすればいいのかわからず、辛いです。元彼と話し合ったら後悔の気持ちが消えるのでは？と思ったけれど、久しぶりに元彼の姿や声を聞いたらあの頃の好きという気持ちが戻ってしまうのではないかとも思います。いつまでも吹っ切れない自分が悪いのは十分わかっています。この気持ちのまま彼と付き合い続ける方がいいのでしょうか。何が最善策なのでしょうか。思うことやアドバイスをお願いします。