都合の良い存在として扱われている？

職場の男性への対処について相談です。彼は40代で、これまでに2回の離婚歴があります。性格は外では明るく適応的に振る舞い、仕事もできる人です。 その人とは部署は違いますが、一緒に仕事をする機会もあり、仲間内での飲み会等に私も誘われてプライベートでも関わるようになりました。 半年程前から頻繁に連絡が来るようになり、ほぼ毎日ラインや電話をしていました。2人で食事にも行きました。 初めはこちらが精神的に辛かった時に励ましてくれたり、心配してくれたりしていたので、少しずつ彼に惹かれていきました。 何度か気を持たせるようなことも言われていました。 ところが、徐々に彼の都合のいい時ばかり電話がかかってきたり(彼が次の日休みの日の前日に深夜まで電話)、こちらを異性としてどう思っているのか問うと回避したり、気に食わないことを言ってしまうと激しく怒ったり、複数の女性にも連絡している様子が見えたりするようになりました。 私と連絡を取らない間、別の女性と2人で飲みに行ったりしています。 (私が誘っても日程調整をしませんが、別の女性とはさっさと調整していたり) セクハラめいた発言も多く、そもそも気分に振り回されることに疲れてしまいました。都合よく接されていたんだろうなと思います。 ただ、仕事上関わりますし、相手は年上のため今後無碍にできず… 。 実際、しばらく連絡をしないと「冷たい」等言われて詰られる始末。 この先一緒に仕事もあり、気まずさを私が感じるのもなんだか変な感じです。 彼への接し方、どうしたらよいでしょうか。