わたしの選択は間違っていないのでしょうか

私には付き合って５ヶ月の彼氏がいます。
出会いは合コンで、彼からのアプローチでお付き合いがはじまりました。
彼といるとすごく楽しくて、とても居心地がよく、いつかこのまま一生一緒にいるような関係になるのかなと感じていました。
ですが、この間彼の家に行ってお泊まりをした時机の引き出しの爪切りを取ろうとしたら元彼女との写真が全く隠していない感じで見つかりました。
その時はどうしたらいいのかわからず、そのまま一緒に過ごして自分の家に帰ってから彼に”ごめんなさい、すこしの間連絡をとるのをやめたい、でも心配しないで”とメールをしたら、少しして”何となく言いたいことは分かった、捨ててなかった俺が悪い、謝らないでと連絡が来て、”本当にごめん、今までありがとう”と別れを言われました。
私はびっくりして、別れようと思っていた訳ではなく彼の気持ちを知りたかったので電話をかけたら、「君のことは好きだけど、写真に写っている子のことも好きなんだ」と言われました。そこから元彼女の話になり、彼は高校生の時から１０年間その元彼女さんと付き合っていて、事故で強く頭を打ち、彼のことが全くわからなくなってしまった、介護が必要な状態になってしまったそうです。
私と付き合っていて楽しくてすごく毎日元気が出たけど、時々元彼女の影をわたしに重ね合わせて自己嫌悪に陥っていたみたいです。それと、元彼女との事もあって私とは結婚はできないと言われました。私は彼のことが好きなので「あなたのことが好きだから、私はその気持ちは変わらないから私と付き合うかどうかはあなたが決めて、でも私に申し訳ないとかそういう気持ちは無しであなたの素直な気持ちを教えて」と言ったら、会って目を見て話したいからそれからでもいいかと言われたので週末会う予定です。
正直、元彼女さんとの話が急すぎてただ驚くばかりなのですが、私の選択肢は間違っていないのでしょうか？