元カノのことを忘れられない彼氏

現在お付き合いをしている彼は元カノのことを忘れられていません。
そもそも私たちの出会いは私が務めていたキャバクラに彼がお客さんとしてきた事が出会いのきっかけです。
その時はまだ元カノと付き合っていたのですがわたしは全く知りませんでした。
約半年間程LINEでやりとりをしていたのですが、ある日「俺彼女いて、別れたんだよね。俺トピ主のことが好きで付き合ってほしい」
そのあと詳しい理由を聞いてみると、
元カノに振られた時に支えになってくれたのがトピ主だった。らしいです。
その後猛烈なアタックに負けて付き合いましたが、私自身も彼のことが気になっていたこともあり正直嬉しかったです。
ですが、酔っ払った時や不意に。
元カノの話をするんです。
この前彼が後輩と飲みに行って飲みすぎたみたいなので駅まで迎えに行った時のことです。
「酔っ払いすぎて元カノに電話しちゃった」
「元カノよりも俺を好きにさせて」
「浮気したらごめんね」
こんなことを言われると不安でたまらなくなり、
彼が寝ている時にスマホを覗いてしまいました。
すると、ほぼ毎日のように元カノと連絡を取り合っていたのです。それもだいぶ前からで、私達が付き合ってからも、私達が一緒にいる時も。
内容はたわいもない会話の中に
本当に心配してる、可愛かった、ずっとどこどこにいたよね
などでした。彼と元カノは同じ職場なので必ず一度は顔を合わせますし、もしも元カノの気が変わればきっと彼を元カノのところに戻ると思います。
現在彼は私の家で半同棲をしています。
こんな彼とは別れるべきでしょうか…
それと、ガールズバーやキャバクラの女の子とも連絡を取っていて(キャバクラの経験があるので、内容を見ればどういうスタンスで連絡しているのかだいたいわかる。)内容は結構えげつなかったです。
皆さんのご意見お聞かせください。