元彼女が気になって結婚や今後の付き合いに前向きになれません

32歳女です。
付き合って半年になる１つ上の彼がいます。

彼の元彼女のことが気になって、彼との結婚や今後の付き合いに対して前向きに考えられないことで悩んでいます。

彼とは合コンで会い、その後2回目のデートで付き合ってほしいと言われました。
今はうちで半同棲の状態です。
彼は、会話の中で折々に結婚を匂わせることを言います。
でも、いまいち喜べないんです。
その理由が、彼の過去にあります。
彼には、私と付き合う前に5年間付き合った彼女がいました。
彼は海外や地方転勤なども多くて、ほとんど遠距離でした。彼女は結婚願望が強く、逆プロポーズで結婚の話も出ましたが、彼が仕事で話を進めずにいたら、彼女が痺れを切らして去っていったと。
その後、彼は随分後悔したようです。今はもちろん未練もないし、連絡もとっていないと言っていました。
（この話は付き合い始めた当初、私から元彼女のことを色々聞いた時のものです）
彼は、正直で真面目な人なので、多分ウソはないと思います。
私に結婚を匂わせるのも、その前の失敗があるからだと思うんです。
それが私にとっては複雑で・・・
それって、私自身を見てるんじゃなくて、過去の失敗を挽回しようっていう思いの方が強いんじゃないかなぁと。なんか彼が焦ってるようにも見えます。
また、自分以外にも結婚を真剣に考えた相手がいるという事実も、私は許せません。
でも、過去のことだし、彼は悪くないって言うこともわかります。
その他にも、彼女と一緒に行った場所には絶対いきたくないし、元彼女とのことを想像しては、イライラして彼にきつく当たってしまいます。
彼に、「親に紹介したい」といわれても、元彼女のことも紹介したのかとおもうと素直に受けられません。
私自身の問題だと思いますが、悶々と考えて毎日つらいです。どうしたら気が晴れるでしょうか？