彼の言っていることがわかりません…。

はじまして。 最近６歳年上の心療内科の医師と付き合い始めたのですが、彼に私の話が通じていないように感じています。 私は同じ大学にストーカーのような元彼がいます。 現在の彼とは中距離恋愛です。彼は、その距離と元彼が私の近くにいるということなどに不安を感じているらしく 「本当は前の彼とより戻したいんでしょ？」 と頻繁に聞いてきます。 私は本当にやっとの思いで元彼と別れたので、 「そんなことは絶対にない。もう縁を切った」 と言ってもわかってもらえません。 最近になって「縁は切らなくていい。友達に戻って」 と言われました。 友達に戻るつもりはないと言うと 「本当は好きなくせに無理するな。もう疲れた。愛想が尽きた」 と言われました。 フラれたんだと思い、 「別れるってこと？」と聞いたのですが 「今は別れるつもりはない。でも別れたい」 と言われました。 こんなやり取りが何度も続いています。 彼の言動が、不安や私の気持ちに対する自信のなさからきていることは何となく分かるのですが、 どうしたら彼にわかってもらえるのかが分かりません。 よろしくお願いします。