元嫁の連絡先を消してほしい

私:20代前半　
彼氏:30代前半　バツイチ子なし

彼は2年前に、元奥さんと3年間の結婚生活の末に離婚しました。
理由は、同棲せず結婚してから一緒に暮らし始めてみたら、それまで気付かなかった不満や生活リズム、価値観のズレに耐えられなくなり彼から離婚を切り出したそうです。

その後私と付き合い、「結婚するなら同棲してから(同じ過ちを繰り返さない為)」という彼の希望の元、現在同棲1年目です。
私達は趣味や生活する上での価値観かなり合っており、お互いほとんど不満なく、多少不満が出てきたとしてもきちんと話し合い解決しながら生活を続けています。近々彼のご両親にも挨拶する予定で、お付き合い自体は順調に進んでいます。

ただ私の中で、どうしても元嫁の存在が気になってしまいます。タイトルにも書きましたが、元嫁の連絡先を消してほしいと思っています。
(正確にはLINEをブロックしてほしい)

彼は離婚届を提出したその日から一切元嫁と連絡を取っていません。
私と付き合ってすぐ(離婚から1年)連絡先を消してほしいと伝えたところ「一応元家族だったわけだし、離婚からまだそこまで経っていないから、もしかしたら何か用があるかもしれない」と断られました。
あれから1年、離婚してからは2年以上。結局今まで一切連絡は取っていません。

元嫁は彼の事をブロックしていません。“お互い連絡を取れる状況”である事が不安で嫌です。
2人の間に子供がいる訳でもない、もう用がないのであれば連絡先を消してほしいのですが、この気持ちは飲み込むべきか、彼に伝えるべきか、どう伝えればよいのか…
一人で悩んでも答えが出ず、ここで相談させていただきました。

元嫁が気になるなら彼とは付き合うべきではない。というご意見がありそうですが、本当に相性がよく好きな相手なので、できれば付き合い続けていく方向で進んでいきたいと考えております。