彼氏の元彼女への気持ちの整理ができません

大学３年のナナコと申します。
私より３歳年上で大学院に通う彼氏との関係について
みなさんに相談したいことがあります。

私と彼が付き合うのは今回が３回目です。
大学１年の時から彼と彼の元彼女の関係がはっきりせず
別れを繰り返していて去年の４月に彼から気持ちが整理できたからと
３回目の告白をされ、付き合い出しました。
彼の親友にきちんと「彼女」として紹介され、
やっと「彼女」になれたんだ…と嬉しくなりつつも、不安がよぎります。

元彼女さんは私の部活の先輩で、どんな付き合いをしていたのか
部活の仲間から聞かされているので知っています。
その人と私は違う人で比べても意味がないと頭ではわかっているのに
自分と彼女を比べてしまう自分がいます。
その人の名前を忘れたいのに、いつまでも頭から離れません。

不安な気持ちを彼に伝えたことが何度もありますが、
「過去のことは言わないでほしい」と彼は言います。
彼の中では「過去」のことでも、私はまだそれを「過去」だと
処理することができないようです。
言わないようにと我慢していると、一人で気持ちがいっぱいいっぱいに
なってしまいます。

その不安な気持ちが原因なのかはわかりませんが、
色々な場面で自分の気持ちを素直に表現することができず
付き合っているのにまだ片思いしているような、
寂しい気持ちになってしまいます。

この気持ちをどう整理すればいいのでしょうか。
「別れた方がいいのでは」と思うことが多くなってきてしまいました。
彼と幸せな恋愛をすることが難しいような気になってしまいます。

わかりにくい文章になってしまいましたが
何かアドバイスを頂ければと思います。
宜しくお願いします。
最後まで読んで頂き、ありがとうございました。