元カノへの思いを疑ってしまい苦しいです

私（未婚、45歳）には彼（バツイチ、49歳）がいて約１年付き合っています。 付き合い当初から元嫁、特に最後の元カノとの未練を思わせる行動、言葉がありました。 （名前を〇〇とは呼ばないで、デートの最後はバイバイと言わないで、元カノとの旅行写真をお気に入りに入れている等） とはいえ、連絡もないようですし、今一緒にいるのは私なので気にしないようにしていますが、今でも彼の家のあちこちに元カノの品が色々とあり、寝言で名前を呼んだりしています。 無意識なので罪はないとスルーしていましたが、先日かなり酔った彼が、私の手を触って”こんな感じだったな” と言われた時にはさすがに 元カノの替わり？それは空しすぎて無理！となり、少し考えたいし、仕事も忙しくなるから会えない と言ったところ一緒に暮らそうと言われました。 元カノとは3年も付き合っていたのに一緒に暮らさなかったのは、その頃は転職したばかりで忙しかった、でもあの時一緒に住まなくて気持ちが離れた後悔があるから、私とは一緒に住みたいというのが彼の言い分です。 彼は私とは心地いいと言いますが、彼に金銭的に全く依存しておらず対等ですし、料理好きなので自宅ごはんもよくやるのが嬉しいようです。 （、、、と、そんな風に卑屈に考える自分にも問題はありますね。） 彼は私によく愛してると言います。そんな簡単に愛してるなんて・・と言ったら、過去に気持ちを言葉にしなかった後悔があるからと言われ、そこも元カノへの思いがかなり強く残っているんだなと解釈しました。 彼とは楽しく一緒にいたいだけですが、それでも元カノへの思いと後悔がちらちら見えてしまうと苦しくなります。 私自身も過去に大好きだった人はいたし、一生忘れませんがもう思い出にしています。 こんなつまらない事ですが、それが苦しいなら別れる選択をすべきでしょうか。 どうかアドバイスをお願いします。