心が限界で、仕事を辞めるべきか迷ってます。

はじめましてこんにちは。
現在、製造関係でパートとして働いて数年になる女性です。今まで仲良くしていたパートさん数名から無視されてます。心当たりはいくつかあり、例えば、上司に仕事や残業を頼まれると「NO」と言えない性格です。最初の頃、断れなくて連日の残業を続けた結果、それが原因で欠勤してしまいました。「残業して身体壊して休まれたら周りが迷惑。」と注意されてずっと気をつけていたのに、うっかり腱鞘炎になって休んでから会話がないです。相手方には骨折しても仕事にきていた人がいたので、謝罪してもその場限りの許すでした。
あとは上司の接し方に落差があることらしいです。他の人から「同じ仕事をしてもあなたは『ありがとう。』と言われて私達は言われない。失敗しても若いあなたは『いいよ。』と言われるのにおばさんだと怒鳴られるのは不公平よ。」という話を以前から聞いていたのですが、それが一番ヒートアップした時期からこうなった気がします。欠勤にしても私は文句も言われずに休ませてもらえますが、他の人は文句を言われて休ませてもらえない時があるそうです。他には、嫌いな芸能人と知らずにその人の話につき合わせたこととかです。
周りの変化に疎いので、他にもなにか怒らせているかもしれませんがわかりません。同じ人にばかり仕事を頼む上司の面々には、そういう人達だと割り切ってるので不満はないです。それが社会だし、会社に雇われている身だし、仕事があるだけましだし、言われたことはちゃんと真面目にして成果は出してます。作られたキャラもあって言えませんが【金のために嫌な仕事も笑顔でも『はい！はい♪』と嫌な顔・声・態度一つせずに我慢して】働いてます。それを我慢しないで態度に出した人達からは「不公平。自分達の立場がない。八方美人。」と無視されます。精神的にも限界なのでやめたいのですが、給料や仕事内容に文句はないので迷ってます。