職場、辞めた方が良いですか？

某小さいホームセンターで働く５０代パート主婦です。７年目になります。 4時間で扶養対応契約で働いてます。 私以外3人の同じようなパート主婦が3人居ますが扶養ではなく6.7時間の契約で働いてます。 ほかに社員の方２人男性がいます。 あと大学生のバイトがひとりいます。実質、７人ぐらいの人数でシフトを回していくと私の穴埋めを他の人がやらないと駄目になるらしく影で扶養から外れて もっと働けば良いのにと陰口をいわれ続けています。扶養内で働くのは駄目な事なんでしょうか？ これ以上言われるのは限界です。 私が悪いんでしょうか？また、這いつくばってこの職場に残りたいともおもいません。 アドバイスおねがいします。