嫌い避けの相手に翻弄されて辛いです

職場の男性の態度の急変に翻弄されています。
以前は好意的で、いつも近くを通る、遠くから見られる、行動を目で追われる、二人きりになったら必ず隣に来て何も話さない、でも時々話しかけてくる。仕事量の心配をしてくれて助けてくれようとする等彼の優しさに少しずつ私も好きになりかけていました。

ただ気になっていたのは元々社交性の高い人なのに私にだけはあまり話をせずただ近くに来るのです。私も何故なのか混乱してしまい必要最低限な事しか話せませんでした。

彼はそんな私の愛想のない態度が嫌になったのかある日を境に全く話しかけても来なくなり、近くにも来なくなりました。それどころか言葉もきつくなり顔を合わせた時にとても嫌そうな顔をされました。そのことで私が少しムッとすると気になったのか、いつも通り近くに来て仕事をしている私を見ていましたが目は合わせませんでした。

その後暫くしてから普通に話はしてくれるものの、近くに来るときはさっと用事を済ませ自席に戻るといった、明らかに私を避けている態度に変わりました。私も悪かったのだと思いますし、彼の気持ちが落ち着いて仕事がやりやすくなるならもうそれで良いと思ったので彼が距離を置いていることを受け入れる事にしたのです。

案の定以前は優しかったのに仕事の質問をしたり、話しかけても鬱陶しくされたので話しかける事もしなくなりました。それから暫くして職場でとても嫌な事があった時に一人で黙々と仕事をしていたら久しぶりに彼が近くに来て何でもない話をしてくれたので私も少し心が和みました。

でも暫く彼から避けられていた心の傷のせいでもう彼の顔をまともに見る事は出来なくなっていたので目を合わさず愛想笑いをしました。
今思うと彼は私の事が苦手で、それでも仕事上コミュニケーションを取ろうと頑張ってくれてたのかなと思います。
そんな人と今後どのように接すれば良いかアドバイスお願い致します。