どうしても離れられない

元彼と不倫しています。 彼とは、４年付き合い、彼に好きな人が出来て別れました。彼が好きになった人は、離婚したばかりの二人の子供がいる女性でした。 彼と別れて４年たちました。 彼は、その女性と去年結婚したようです。 しかし、別れて４年間、ずっと私と付き合いが続いています。付き合いと言っても、昼間電話で話をしたり、月に一度、会う程度です。 彼から別れようと言われたこともあります。 ケンカもしょっちゅうです。でも、どうしても離れることができずにいます。こんな状況でも、自分の味方でいてくれる人がいなくなってしまうのが、怖いのです。 もう別れた方がいいのかも、と思っています。自分自身、どう気持ちを切り替えたらいいのかわからずにいます。同じような経験をお持ちの方がいたら、ご意見を伺いたいと思っています。