行動の意味がわかりません。

ちょくちょく話す職場の男性についてです。 二人で雑談をしながら歩いていたら、急にその男性が歩くペースを上げて無言になりました。あれっどうしたんだろうと思って追いついて話しかけたら、そっけない対応をされました。変だなあと思って黙って後ろを歩いたのですが、その時たくさん人がいる場所に入ったところでした。なんとなく、私と話してるところを見られたくないのかなと感じました。 違う時にも、やはり雑談して歩いていたとき、知ってる社員に会いました。その社員と顔を合わせた瞬間、パッとその男性が私から離れたのがわかりました。なんで～！？と思いましたが、先輩社員でしたので、失礼にならないよう挨拶をしてちょっと会話をしました。しかしその男性は無言でした。その社員と別れ、二人になるとまた元に戻り雑談をして歩きました。 何なんでしょう、と思ってしまいます。付き合ってないんです。見られちゃまずいこともしてない、雑談して歩くくらい誰でもしてるのに、何で私はこんな避けられないといけないんでしょうか。すごすごと後ろを歩いたり、距離をあけられる側としては、その様子を周りに見られてる訳で、いたたまれない恥ずかしい気持ちになります。 いつも避けられてる訳でないのも混乱しています。デスクで周りに人がいる状況で二人で雑談する時もよくあります。そういうときは普通なので、嫌われているわけじゃないのかなあと思います。 こんなことしてくるのはこの男性だけです。私はこの男性に好感を持っていただけに、こういうことをされて意味がわからない状態です。しつこいアプローチもしてない、全然そんな段階じゃないんですが、一体何なんでしょうか。