女性がキャリアを積むにはどうしたらいいですか？

じょせふぃーぬと言います。
社会人になって１０年目の女性です。

私は今、ほとんどが男性ばかりの職場環境で働いています。
同じ部署には女性は私一人で、得意先に行っても、一緒に仕事をする関連部署も、ほとんど男の人ばかりです。
ものすごく男性優位の職場環境で、女性にとって働きやすい就業環境とは言えません。
なにかあると、これだから女性は、とよく言われます。
女性は仕事が出来ない、女性だからって甘えてれば何でも許されると思ってる、女性は面倒くさい、と、初対面の人に言われたりします。
ただ、初対面ではそう言われながらも、得意先や関連部署の人からはそれなりに信頼を得て、良好な関係築き、それなりの評価を頂きながら、今まで仕事を続けてこられたと思っています。
ただ、いつもなんですが、得意先や関連部署からは気に入られるのに、自分のいる部署の同僚や、上司からの評価が全く上がりません。
そもそも、同じ部署の同僚と私では、女性だからという理由だけでスタート地点も評価のされ方も違うから仕方がない、と、仕事を始めたばかりの頃は思っていたのですが、その考えでは、女性だ、という部分に自分自身が言い訳をして、甘んじてしまっていることになるので、あまりそのように考えてはいけない、と思い、ここ数年は、自分の頑張りがまだまだ足らないんだと思って、くじけそうになりながら、いろいろ言われてへこみながらも、人並以上に頑張ってきたと思っています。
ただ、ここ最近、自分は頑張っているつもりでも、他人から見たら自分は全然だめで、実は今の仕事に適性がないのではないか、と思うようになりました。
最近自分に自信がなく、何を信じていいのか分からない為か、仕事に対する気持もぶれ始めています。

同じような経験をされている方、悩みを持っている方、何かアドバイスを頂けないでしょうか。

宜しくお願いします。