職場で期待されすぎてしんどい

職場で「仕事ができる」と噂されるのがしんどいです。 当方は31歳女性、今の会社には新卒で入社し9年目になります。定期的に異動のあるため、現在4部署目になります。 今の場所に配属になった際、たくさんの初対面の方から「仕事ができる方って聞いてます」と言われました。 実際の私は特段仕事が出来るわけではありません。ミスもしますし気が回らないことも全然多いです。正直他の同期や先輩の方が圧倒的に仕事ができます。 恐らく男性が多い会社のため、女性の私が嫌でも目立ってしまうのが原因だと思います。大っぴらに悪口を言いづらいのもあると思います。 必要以上に持ち上げられ、失望されているのではないかと思うと毎日しんどいです。 それと全く関わりのない部署の方からもそのように言われることも多く、もはや誰かが意図的に噂を流しているのではと怖いほどです。 どうすれば気軽に受け止められるでしょうか。同じ経験のある方はいらっしゃいますか。