男性だけの職場で女一人

はじめまして。
私は３０代前半の独身女性です。
男性ばかりの職場に事務員として働いています。

私は特別明るい性格ではありませんが、誰とでも普通に話せます。
休憩時間などに、ある男性と話をしていたら、数日後その男性は私をさけるようになりました。
その男性と話をした内容はほんとうにたわいもないことなので、なぜなのか不思議です。
しかしその男性はそっけなかったり優しかったりするので不思議です。
なぜ普通に出来ないのかと思います。

さらに、他の男性も特別なことを話したわけじゃないのに、少しお話をしただけで数日後、私の姿を発見するとちょっと避けます。でも二人きりになったりすると、そうでもないのです。

私は今まで働いてきて、嫌われたりいじめられたりしたことはありません。
男性だけの職場でこのような事態になり戸惑っています。
私は本当にあたりあさわりない会話しかしてないのです。
避けている人に対してはこちらも避けていいのでしょうか？
でも事務としては全員とかかわる必要があるので（提出書類など）、あたりさわりない関係でいたいのですが。

どうしたらいいでしょうか？