隣の席の男性に話しかけないのは変ですか？

職場に、30代の独身男性がいるのですが、一人暮らしをしている為、家に帰っても話し相手がいないので、
職場で仕事もせずに、ずっと雑談をしている人がいました。皆は忙しいのに、その人は話すのに必死で体温が上がるのか、
ずっとうちわで扇ぎながら、立ち上がってしゃべり続けています。この人の担当の仕事は何なのかもわからないほど、
よくこれで給料を貰えるもんだと思うほど、仕事もせずに話しているのです。「あのねー、僕ねー、昨日ねー。」と、まるで子供が学校であった一日の出来事を
母親に話しているみたいな感じです。あとは、人の悪口です。数ヶ月前に席替えがあったのですが、その男性と隣の席になりました。
今まで、他の女性は、その人のことを鬱陶しがったり、嫌ったりしていたのですが、話しかけられると、ちゃんと相手をしてあげていました。
が、私は黙々と仕事をしたいタイプで、相手が年上であろうと一切気にせず無視するので、他の部署の人も心配するぐらいに、その人は
しゃべらなくなりました。仕事面では、静かになり、前より仕事をするようになりよかったと言っている一方で、
周りの人は、その男性を少しかわいそうに思っているようで、何故か私のことを悪く言う人がいます。（愛想がないとか、周りの人に気遣いできないとか）
私は、その男性に一切興味がないので、休みの日に何をしてようと、どんな趣味があろうと聞きたくはないし、直接的に仕事でも関わりがないので、
「おはようございます」と「お先に失礼します」以外は話さないのですが、やっぱり変でしょうか？