悪口に参加しないのは悪いこと？

職場は上司以外女です。 デスクワークで忙しく、休憩以外のトイレは許されていません。 肩こりた腰痛はもちろん、頭痛、腹痛、風邪など、さまざまな原因で毎日入れ替わり誰かが休みます。 条件のいい仕事があったらそちらへ移りたいですが、この就職難では無理なので誰も辞めません。 女の世界ですし、当然ストレスも溜まるので休憩時間に話題に上るのは人の悪口です。 私は悪口が大嫌いなのであまり参加したくありません。 同席していても相槌を打つくらいで、聞き手見回ればいいんだ、と思っていましたが、ある日、トイレで私のことをうわさしていました。 「あの子はいい子ちゃんぶって腹立つ」 だそうです。 人の悪口が好きな人のいいそうなことだ、と気にもしていませんでしたが、仲のいい子が 「少しは参加しないとあの人たちは怖いよ、この先どうするの？」 と忠告してきました。 言いたくないことを言わないといけないのでしょうか？ 仲間はずれにしたいならすればいいと思っています。 会社の上司たちも、女の集まりが怖くて言えないけど、新人が怖がってすぐに辞めていくので本当は悪口禁止令を出したいんだ、と言っていました。 どちらにしても私は彼女らと同レベルになる気はさらさらありません。 こんな考え方の私は間違っていますか？