伝えて終わらせた方がいいのか…

ワンナイトラブをこの間初めて37歳という年齢で体験しました。 ご意見お願いします。 相手の方は33歳。旅行先での出来事。 四年前に彼と飲み屋で知り合ってその時はお互い酔っていて友達も一緒だし軽く言葉を何回か交わしただけで連絡先も交換せずお店を出ました。 2度目彼のいる土地へ私が旅行に行ったのがきっかけで偶然会いました。 私は一目惚れに近かったので覚えてましたが彼は覚えていませんでした。 でも後悔したくなかったので話しかけて2人でお店を出て飲みに行き流れで体の関係になりました。後悔はしていません。お互い大人です。 軽く見られてしまったかも知れないけど次いつ会えるか分からない。 でもとても寂しい気持ちになりますね。 勉強になりました。 しかし彼とさよならし地元に戻りそこから今一年たちますが連絡をお互い取り合ってます。 たわいもない会話です。 今日は中学の時の同級生と飲みに行くよ！ とか酔ってる！とか今家に着いた…など。 向こうからのメールはこんな感じです。 今年5月にも会いました。 更に私は好きになってて歯止めが効かなくなり少し連絡を取るのをあけてみたんです。 そうしたら彼からメールがきて、、しかも誕生日の日付が変わって直ぐに。 覚えてくれていた事が嬉しくて… 勘違いをする年齢ではないですし世の中にはサービス精神でする方もいると分かっていても嬉しかったです。 好意は無いと思います。 遠く離れたとこにいてる彼。 パニック障害の彼。 全く恋愛の話はしてきません。 会いたいとも言わない。 ただこちらから行くから飲まないか？誘うと体調良ければ俺も会いたいし一緒に飲みたいといってくれます。 気持ちはないのは分かってます。 私が気持ち楽になりたいです。 でも彼がいなくなるのは嫌なんです。 どうしていいか分からなくて相談しました。