半年程前に別れた元彼について

同じ職場の男性と、仕事の都合で近距離→遠距離→近距離恋愛をしていましたが、遠距離の生活に私が慣れきってしまったことと、相手の私依存が強く、私のほうが疲れてしまい半年程前に別れました。

別れた後も元彼からたまに仕事以外にメールやメッセ、電話が来ていましたが、今後仕事で支障ないよう、他の友人と接するのと変わらないような当たり障り無い会話のみしていました。
今ではそれらは一切ありません。

付き合っていた頃は某SNSで友人登録もしていましたが別れてから相手は退会していました。
ですが、現在復帰して定期的に私のページを見に来ています。

今では私は別に好きな人（A氏）がいます。
最近A氏に行きつけの店を教えて頂き、今では私も通っています。
そのことを日記にも書きました。
そうしたら先日、A氏から「裾野の元彼が店に来ている」とメールがきました。
店に来るのは2回目で「会社の人から聞いた」と言っていたそうですが、元彼のチームの人が来ているのは見たことがありません。

A氏は「裾野の日記見たからじゃない？」と言います。
A氏は元彼との事（↑全て）を知っているので「店に私・元彼がいる時は店に来ない」と言っています。
A氏は元彼が嫌いです。

私はA氏に会いたくて店にいくので元彼のせいでA氏に会えないのは辛いです。
かといって「もう店に行かないで」と言う権利はありません。
別れたので好きな人がいる事を伝える義務も無いと思います。
SNSの履歴があるあたり、まだ私の事を気にしていると思いますが、人の事を気にして日記に書きたいことを書けないのはとても嫌です。

元彼は何をしたいのでしょうか？私に会いに来ているのでしょうか？考えすぎですか？
仕事以外で今の環境に踏み込まれたくないのですがどう伝えるべきでしょうか？放っておくべきでしょうか？