新しい彼女について悩んでます

僕は２８歳、付き合ってまだ１ヶ月足らずの彼女は21歳ですが この彼女の事について相談したい事があります。 先日、彼女から不意に「実は18歳の時から3年間40代の男性と付き合っていた」と聞いてしまったんです。 そりゃ人間ですから20年間も生きてこれば恋愛経験の1つや2つあって当たり前ですが　それが妻子あるしかも自分の親くらいの人だとは・・・ 彼女に聞いた所、男性経験はこの元彼ひとりだけで最後は彼女の方がふられたため 別れてしばらくはこの元彼にすごく未練があったそうです。 まだ彼女と僕の間には肉体関係はありません。 彼女は今は僕の事が好きで僕と付き合っていきたいそうですが 時折見せる彼女の淋しそうな表情に元彼の事、思い出してるんじゃないかと不安に かられたりもします。 はっきり言って過去の事を聞いてから僕は表面では気にしないそぶりをしながら 一人になるとどうしてもこの事がアタマから離れないんです、もう過去の事のはずなのに。 僕の気持ちは彼女の事好きですが好きになればなるほど自分自身の心の中に 言い様のないモヤモヤしたものが沸いてくるのです。 どうか皆さんの意見を聞かせてください。