好きな人からのメールにどう返信したらいいでしょうか

こんにちは。
職場にいいなと思っている２つ年上の男性がいます。
部署は違うのですが
社内のイベントで音楽や本の趣味があうことがわかり
たまにお昼を外に食べに行き
ひたすらマニアックな話をして盛り上がる間柄です。

先日ばったりその男性（Ｓさんとします）が
ほかの女性とお昼を食べているところに
鉢合わせしてしまい、じゃまをしては悪いと
会釈をして通り過ぎたのですが
わざわざ「この間××にいたよね！」等話しかけられ
つい「あ、そうですね」
「じゃあ、失礼します」と立ち去ってしまいました。
その後、Ｓさんからメールが届き　別の用事のことと　最後に
「昼は偶然知り合いに会っただけだからね」と書いてあり
なんと返事していいか悩んでしまいました。
怒っていると思われているなら「気にしていません」と
書いたほうがいいのかもしれないですが
そもそも付き合ってもいないし　怒る理由もないし・・・
それにＳさんとは趣味の話では盛り上がりますが
付き合ったりするほどにはお互いのこともよく知らず
いい雰囲気にもまったくなっていません。
わりともてそうな人で彼女はいないのですが　世話好きで
美人な人にもそうでない私のような地味な人にも
わけへだてなく接する人なので　女性にも人気があり
やさしくされても勘違いしないように　気をつけてきたのですが
こんなメールをもらうと　つい勘違いしてしまいそうです・・・
それとも遊びなれていて二股とかをする人は
このくらいマメに　彼女でない人にも
フォローをするのかも　と　怪しんでしまって
もうどう返事したらいいかわからないまま
時間が過ぎてしまいました。
なにか　アドバイスいただけたらうれしいです。