忘れられない方

長文失礼いたします。
24歳社会人　独身彼氏なしです。

高校生の時に2ヶ月お付き合いしていた方がいます。別れてからは、お互い別の方とお付き合いしていました。

昨年4月、私は就活のことで悩んでおり、私から相手をお誘いし、ご飯に行きました。相手も私も浪人をしており、私の周りには浪人をしていた人が少なかったため、参考になると思ったからです。お話しするのは、成人式ぶりでした。

ある程度お話しした後、相手から恋愛話が振られました。
相手「今付き合ってる人いる？」
私「いないよ。〇〇くんはいるの？」
相手「付き合ってる人はいるんだけど、上手くいってないんだよね。」
私「ごめんね。付き合ってる人いるの知らずに誘ってしまって。」
相手「気にしないで。ご飯行くのもお互い報告しないんだよね。」
私「でも、彼女持ちなのに悪いことしちゃったね。ごめんね。」
という会話になり、しばらく別の会話をして解散しました。

元彼と言えど、会う時には恋愛感情が全くない状態でした。しかし、久しぶりに会ったのに居心地が良く、それ以来また会いたいと思ってしまいます。
相手と彼女が続いているかがわからず誘っていませんが、この恋は忘れるべきでしょうか？
他人を不幸にしてまで恋愛をしてはいけないと思っているのに、頭の片隅にその方がいます。

アドバイスをお願いいたします。