同僚男性の誘いに困っています。自意識過剰か？

20代後半、会社員です。同僚の男性の態度に困っています。 一度二人でランチに誘われ、席も近い職場の人なので角が立ってもと思い、一緒に行きました。 しかし、恋人の有無を聞かれたり、休みの日にどこか行こうと言われたり、 やたら容姿を褒めてきたりして、ちょっと？？？という感じになり、ほとんど笑ってごまかしましたが、 メアドを聞かれたので、教えないのもおかしいかと思い教えてしまったら（後悔してます） たわいもない話やプライベートに関する質問などがメールで来ます。 夜電話するなどとも言われます（忙しいと断りました）。 あまり関心がないと分かってもらうために、返信まで時間を置いたり、返信しないこともあるのですが、 向こうは明るい人なので、屈託なくまたメールが来る感じです。 また、帰りも私のことを待っていて一緒に帰ろうと言って来たり、 私がトイレに行っている間に廊下にいて、約束を取り付けようとしてきます。 単純に話し相手がほしいのかなとも思うのですが、 二人でランチに出ると目立ってしまうので周りに何か思われても嫌だし、かといってこそこそ行くような仲でもないし、 もちろん休日に一緒に外出もしたくありませんし、異性としては関心がないので、あまりメールなどもしたくなく、弱っています。 会社の人なのでどうしてもいい顔をしてしまう私が悪いのですが・・・ うまく人をあしらえない自分がほとほと嫌になってしまいます。 相手はそんなつもりじゃないのに、変に拒絶したら失礼だし、などと思うと憂鬱です。 怒らせるのも怖いです。 もともと特に嫌いな人ではなく、同僚として仲良くしたいと思っていたのですが、 だんだん気持ち悪いと思うようになってしまい、自分の脳味噌が嫌です。 告白されてるわけでもないのに、自意識過剰でしょうか。 どうしたらいいでしょうか。