元カノとFaceBookで繋がる彼

２０代後半で自営業をしています。
私には現在お付き合いを考えている男性が居ます。

彼には今年始めまで５年程お付き合いをしていた元彼女がいるのですが、
元彼女が彼を好きではなくなったという理由でお付き合いを終了しています。
彼自身は自分を好きでもない相手を愛していけなくなったとの理由で別れを受け入れたようです。

その後、長年の友達だった私と付き合いたいと望んでくれているのですが、
FaceBook（以後FB)で、その元彼女との友達登録を解除しないという事が引っ掛かってお付き合いをするかどうかを悩んでいます。

彼にその件で話をしたのですが、、、

『お互い嫌いになって憎しみあって別れたわけではない（彼女にもう好きじゃないって言われたのに？）』

『元カノは別れた元彼とも友達関係を続けたい人だから仕方ない（私が嫌がっても友達関係続けるの？）』

『元カノだけを外すくらいなら、FBそのものをやめる（FBは元カノとの為にやってるの？本当は元カノに未練があるんじゃないの？）』

『別に連絡とりあってる訳じゃないんだしいいでしょ？（連絡取ってないなら友達登録で繋がってる必要あるの？）』

と、言われてしまいました。（）内は私の心の声です。

ちなみに、彼と元彼女は共通の友達はなく、仕事も無関係、友人関係に影響がでるという事はありません。

実は、私自身が元彼と現在どうしても一緒に仕事をせざるを得ない環境にあり（今の仕事が終われば、もう連絡を取る事はないです）、
彼は気にしないと言ってはいるものの、実際は不満に思っていて元カノとの関係を絶たないのかもしれません。

元彼と仕事とはいえ繋がってる私が彼にFBでの関係を切って欲しいと望むのは私の我侭なのでしょうか・・・。
それとも彼は元カノに未練があると考えたほうが良いのでしょうか？