職場での私語。参加しない私が悪い？

私は、工事などをしている会社で事務員として働いています。

男性社員はガラの悪い人が多く、事務所で同僚の悪口や下ネタなどの話題で盛り上がります。

私の他に女性がもう一人いるのですが、その人は彼らと合うらしく、ゲラゲラ笑って話に参加しています。

話に入らない私に対し、あいつはつまらない・話しかけにくいと裏で言われています。

私だって休憩中はお喋りするし、仕事中でも話しかけられれば、喋ります。

でも、ダラダラは話さないし、基本は黙々と仕事するタイプです。

ここは彼らに合わせて、聞きたくもない悪口や下ネタの会話に入るべきなのでしょうか？

理不尽な事が多い会社で、心が折れそうです。