告白後の彼の態度

トピを開いていただきありがとうございます。

職場（不倫はご法度！）の人間関係（好きだった人・既婚者）について悩んでいます。
職場の男性（勤務場所は異なります）に一年ほど前、「２人で会いたい。」と言ったところ、困惑され、「電話もしないで欲しい。」と言われました。それ以来、電話で連絡することはなくなりました。（その後は私の職場でひと月に２、３回会う程度です。）
それまではとても良好な関係で、時々電話で相談事などをしていました。
気まずい関係になってしまって、とても残念だったのですが・・・
その後、彼が私の職場へくる度に、彼の存在を私に意識させるような行動（わざと大きな音を立てる・遠くからじっとこちらを見る）をとられ、私ももう彼のことは忘れたい。と思っていたので、「そっとしておいて下さい。」といいました。
そうしたら、「そんなことをしたつもりはない。君の考えすぎだ。」と言われました。

今年に入り、迷ったのですが、例年通り年賀状を出しました。（年賀状は数年前からやり取りしていました）
すると、彼が私の職場に来る前日に非通知の無言電話がかかってくるようになりました。
多分、彼だと思います。
職場で会えば、普通に挨拶はします。
私も既婚者の彼に好意を寄せてしまったのは、間違っていたと今では反省しています。

なにより、電話もしないで欲しい。と言われて、正直、とても傷つきました。
そこから、何とか元気になろうと頑張っているのに・・・
思わせぶりな態度をとって、それについても私の考えすぎ。って酷すぎです（泣）
無視するのが一番いいのはわかっています。でも好きだった気持ちも少し残っていて・・・

今、とても辛いです。
職場では当然、誰にも相談できません。

どなたか、心の持ちようを教えてください。お願いします。