職場での存在価値が見出せなくて辛い

30代前半女性です。
20代半ばでパートとして入社した会社で、退職を引き止められぜひうちで社員に！と言っていただき早2年が経とうとしています。

結果的に、何故あの時退職しなかったのかと後悔してしまっています。

人間関係はとても良好で、1人も苦手な人、嫌な人はおらず、
こんなに良くしてもらって良いのだろうか？と思うほど皆さん私に優しくして下さってます。

ですが、パートの時から何も仕事が変わってないのです。
むしろ、人が増えて減ったくらいです。
やれることをやろうと頑張っても、どうも男性社員のやることだから、という雰囲気でやらせて貰えないのです。
私が仕事をやりすぎると、この男性社員がサボっちゃうから良くないみたいなことも言われ、仕事をする事自体控えた方がいいのか？とすら感じます。
仕事ができなくて振ってもらえない、とはまた違うと感じています。
男性社員は育てる対象だが、私はそうではない。
自分の仕事がない中、男性社員には上司は時には厳しく指導し、仕事を与え、評価している様子を見ると精神的に辛くなります…

他の部署が忙しい時はその人の仕事を覚え、手助けしたりとどうにかやってきましたが
毎日何やろう…と暇を持て余す日々に疲れました。
もっとやれるのに。なんなら、男性社員より出来るのに…という気持ちがあり、このままでいいのか悩んでいます。
ちなみに私は子供も比較的早く産んだので、これからバリバリ働きたいのが本音です。

嫌われているのではないのは分かるし、本当に会社の方々に良くしてもらっている上パートから社員にまでして貰ったのに大した理由もなく辞めるのはどうなのか

20代のころはお飾りとしても良かったかもしれないが、30を超えた今私は何をしているのか、不安で仕方ないです

お給料や、休みやすさ等に不満は一切ありません。

客観的に見て、辞めた方がいいと思いますか？