仕事をしていないと言われます

助けてください。
主に隣の2つの課の女性社員たちが常に、私が仕事をしていない、という前提で話をします。
そこの課長たちからもそうです。
直接言うわけでなく、すぐ近くの席で聞こえるような声で会話をしたり、会議などで何か決めるときに、私の業務関連の事情は考慮しない、だって仕事していないからと言われたりします。
なぜそう仕事をしていないかと思うかと聞くと、皆がそう言っているからとか、会話に入ってこないでと言われます。

3つの課では別室にいる派遣さんたち数十人を一緒に使っているのですが、私や女性社員たちの業務は、彼女達への指示やトラブル対応ということになっています。少なくとも課長達から出ている指示はそうです。
その業務をきちんとしようとすると、お客様事情に詳しい営業さんや、新製品に詳しい技術者の方と、たくさん話す必要があるはずなのですが、彼らの言うには、実際に相談・連絡をしてくる女性社員は私だけで、後の人には勝手に一方的なルールを決められるのでいつも困っているとのこと。課長と部長にも報告しましたが「彼女達にはさんざん言っているけれど何故か通じない」と言われます。
派遣さんが言うには、「奈々海さんは仕事もせず男性と話している」と陰口を言われているとのこと。
でも、派遣さんが普段よく使っている手順指示書やQ&Aのログを見ると、私の作った資料がいちばん多い。派遣さんにも「トラブル時に丸投げしないで飛んできてくれるのは奈々海さんだけ」と言われます。

直属の課長や部長などは評価してくれているのですが、仕事をしないと言う人のほうが数が圧倒的に多いし、毎日私を非難するような内容の会話が聞こえてくるので、針のむしろで辛いです。
どうしたらこの状況を打開できるでしょうか。