S系男性先輩との接し方

女性３０代事務員です。会社の先輩の違う部署でよく仕事を最近一緒にする男性３０代後半との関係に悩んでいます。お互いに未婚です。
会社は激務で、私も猛烈に仕事をしています。彼と一緒に仕事を遅くまでする事が最近よくあり、帰りに一緒に飲みに行くようになり、仕事の改善点等のアドバイスをくれたり、プライベートの話を色々とする仲になりました。彼は、いつでも話を聞くからと言ってくれるので甘えてしまった私が行けないと思うのですが、自分の親の健康状態が悪く仕事との両立がとてもきつい事、やめようと何度も思ったけれど頑張っている等の話もしています。

ところが彼の業務上での態度は業務以外で接してくれる優しい態度からますますきつくなっていく気がします。改善点のアドバイスもミクロの世界でけちを付けてくるようになりました。
夜中まで仕事をしている事を分かっていても、始業前に会議を設置してそこに来るように言い、業務内容の説明をしろと指示をしてきます。他のメンバーの前で注意をすることも増えてきました。色々プライベートの面も見えた時点でなんだか支配をしているような気にさせてしまっているのでしょうか。
この間はあまりの冷たいあたりに本人の前で泣きそうになってしまいました。

大変な思いをしている事を話してちょっとは理解してもらって味方をつけれたらと思っていた自分が間違いでした。飲みに行く時は女性扱いをきちんとしてくれる事からちょっと恋心も抱いてたので裏切られた感もあり、ショックです。とりあえず今までとっていたプライベートでの連絡をとれないようにしました。プライベートでは笑顔で頑張れ！など励ましのメッセを送ってくる先輩の態度に振り回されるのに疲れました。

でも上手くやって行かないと業務上支障もあります。プライベートで連絡を絶った事から逆恨みされないでしょうか。こんな人の心情ってどんなものでしょう。