フェードアウトしたほうが良いですか？

半年前、私(女)が引っ越すことになり、行きつけのカフェの店員(男)さんから連絡先を渡されました。その後、私の事情が変わり引っ越すには引っ越したのですがカフェに行けない距離ではなくなりました。が、遠回りなので2か月に1度くらいしか行っていません。

連絡先を渡した理由は「これでサヨナラはつまらないし、せっかく知り合ったのだから、どこかに一緒に行けるときは誘ってほしい」ということです。私も別に嫌いな人でもなかったので、メールを数通やりとりし、３回ほどこちらから誘って食事や映画等に行きました(夜遅くまで健全に飲むこともありました)。

お互い生活環境がまったく違うので、連絡を取らない限り全く会わない関係ですし、共通の知り合いもいません。この半年間、外出の誘いは私から(相手からの誘いは一切なし)。お互いに会った後は、相手から先にお礼のメールをくれますが「また誘ってください」と書いてあり、少々虚しくなってきました。また私は雑談メールをするタイプでもないので、連絡をしないと１か月は余裕で音信普通です。

会っている時は、かなり「脈ありか？」的な感じで真摯な好青年で接してきてくれるので、勘違いしてしまいます。

しかし客観的に考えると相手は私のコト、何とも思っていないですよね？連絡先を渡してきたのも、何かのはずみだった気がします(営業目的ではなさそうです）。

また、私も遠くに引っ越したわけでもなくなってしまったので、相手にとっては連絡先を渡したことし「くじった」とでも思っているのかな？と考えるようになりました。少し気になりかけていた相手ですが、このままフェードアウトで消えたほうが良いのでは？と思い始めています。

相手にどう思っているか、直接聞いた方が正解！だと言う意見を伺いたいのではなく、大雑把な情報で申し訳ありませんが、皆さんから今後の身の振り方についてアドバイスを頂きたいです。