職場の人間関係

こんにちは。４０歳パート社員の女です。
女性が八割ほどいる工場に勤務しています。勤務して、もうすぐ半年くらいです。女性が多いので、事あるごとに皆悪口を言っています。そこにいない人は必ず言われている感じです。
私の職場の部署は女ばかり五人です。
リーダーは２０年以上勤めている嘱託社員さんですが、あまり仕事ができなくて、静かな人です。声も小さくて、よく聞き取れないです。
そんな頼りないリーダーなので、その人のことを嫌いな部署の二人が、ひそひそ悪口を言ったり、言いたい放題です。
私もあまりよく思われていないようで、話しかけても、はい、いいえしか返事がないし、いつもこの二人でコソコソ話しているので、仕事に集中できません。もう一人の人もマイペースな人なので、相談もできません。リーダーにも相談できません。相談なんてしていたら、確実に私も悪口言われ放題だし、怖くて、その二人の目が怖いです。
毎日会社に行くのが憂鬱で、辞めたいなと思ってしまいます。
このような人たちとうまく仕事できるいい知恵はありますか。せっかく入った会社なのでもう少し頑張りたいのです。
アドバイスお願いします。