仕事に行き詰まってます。。。

こんにちは。いつも拝見させて頂いています。 皆さんの色々なご意見を聞きたくて投稿いたしました。お願いします。 私の職場は女性だけなの職場で現在は７名です。上司、男性社員は別の事務所ですので、殆ど一日一緒の部屋で仕事をしています。 やはり女性だけですと色々ないざこざがあるのですが、中でもつらいのは、年上の４０代の人が、私に聞こえるよるに悪口を言ってきたり、虚言を上司の男性に言ったり、（これは他の人から聞きました）、露骨にいやな態度をとられていました。でも男性の上司がいる時は愛想がよくなり、別人のようになります。　 人数が少ないのもあり、最低限の事しか話したくなくても今は無理をして合わせていますが、精神的に疲れています。　仕事はやりがいをもっているので続けたいと思っているのですが。。。　皆様にお聞きしたいことは、仕事事態は殆ど分担が違うのでいやな人と関わりをもつことがないのですが、ある仕事に関してはお互い手伝っていることがあります。　 その私の担当がそのいやな二人なのです。それが本当に苦痛なのです。　一人でもなんとか出来るのでそうしたいと思っているのですが、今まで通りにしておいた方がよいでしょうか。　　 別の人に担当を変えてもらうのは無理なので、言おうかどうしようか迷っています。 どうぞよろしくお願いします。