仕事、遠慮がなくなるのはなぜ

はじめまして、40代半ば既婚女、子供はほぼ成人しています。 職場の人間関係についてご相談お願いいたします。 今の職場は契約社員から正社員になり勤続15年です。 メンバー的には古株となります。 男性の多い職場で、男性と同じ仕事をしています。 私に対する態度が遠慮がないというか 何を言っても大丈夫と思っているのか言動がおかしくないかい？と思う人が一定数いることです。 常識ある態度の人もいますが。 私も男社会の中で必死で仕事し、女性だからといって気を遣わすわけにはいけないので 鈍感力みたいな感じであっけらかんとしていたら こんな態度をとられるようになりました。 なんなんでしょう？ 大半は私に原因があるんでしょうが、一定の常識ラインというものがないのかと思ってしまいます。 やはり言われるとダメージを受けます。 そんな態度をとられることが最近しんどくなってしまい、一生懸命するのがあほらしくなるときがあります。 尽くしても伝わらないような感じ。 たとえば、私に言ってもしかたがないようなことを怒りながら言ってくるなど、吐け口みたにな感じになっています。 転職まで考えてしまうのはおかしいでしょうか。 みなさんこんな経験ありますか。 また客観的にみてどのように感じますか。