異性からの同情

最近訳あって派遣社員として転職しました。
わたしの部署してる総務は女性ばかりで、最近は慣れたこともあり平気になったのですが、ピリピリしていてわたしへのあたりも新人ということもあり強くあまり歓迎されていない感がある環境です。
（わたしと同時期に入った人３人が辞めていき、わたしだけがいま生き残ってる状態です）
でも仕事はわたしの中で厳しいのは当たり前で、やりがいも感じられたら良いものだと、とくに不満はなく仕事をこなしているつもりでした。

そんな中すごく話しかけてくれる同い年の営業の男性がいます。一日一回くらい「元気なさそうだよ（笑）」など。興味を持ってくれているのか、好意をもってくれてるのか、なぜ話しかけてくれるのか分からずにいました。

先日はじめて誘われた飲み会で、上司の方が「よく話しかけてあげてるよね」と、その男性本人に言ったところ「だってかわいそうだもん」と言っていました。
一緒にいた別の女性が「え～、やさしい～」っていう会話をとなりで聞いていて、すごくモヤモヤした気持ちになりました。
わたしが普通に頑張っていたことがかわいそうに見えたのかと。だから話しかけてくれたのかと。
それと同時にすごく失礼に思えてきて、わたしのことを下に見ているのではないかと、腹が立ってきてしまいました。
友達でもないのに、哀れみで話しかけたり気を遣われるなんてなんてひどい人だ、優しくはない、自分の価値観の押し付けと思いました。

その人のことは嫌いはないですが、今後どのような感情で接していけば良いのかよくわからなくなりました。
わたしからは話しかけませんし、話しかけてくれたらただ答えはします。

まとまりのない文章で申し訳ありません。
みなさんなら、自分はそう思ってないのに、哀れみで気を遣ってもらう異性に対してどういう感情を持ちますか。