上司に冷たいと言われました。

40代パート勤めしている主婦です。
3か月前から事務職をしています。
私の仕事は一人で担当しており、前職の方からの引継ぎが3日間だけしかなく、その後は前の資料を見たりしながら必死に仕事を覚え、今はほぼ完璧に仕事をこなせる様になりました。

最初の2ヶ月程は慣れないせいか間違いも多かったので、毎日のようにある上司に怒鳴られていました。
何回も確認し今度こそ完璧と思って作った書類を提出しても、間違っているんじゃないかと必ず疑われていました。
ある時その上司が同僚にセクハラをしたのを目撃し、また今まで聞いていたその上司の自慢話が実は見栄を張っていただけの嘘だと同僚から聞いた途端、上司への信頼が一気に崩れ落ち、軽蔑へ変わってしまいました。
それ以来顔を見るのも嫌になってしまい、挨拶と仕事上の話だけはしますが、それ以外は避ける様にしていました。

それから2週間程経ち、今日仕事中に突然「最近冷たいけど何か理由があるなら言って。」と言われ、
ビックリしてほんの数秒ですが黙っていると「言ってって言ってるんだけど！」と怒鳴られたので、
「最初ここに来た時から毎日の様に怒鳴られて、ずっと胃も痛くて食欲も落ち、これ以上自分の体調を壊さない為に冷たい行動を取ってしまいました。信頼もしてもらってませんし、そんなに信頼できないならクビにしてもらってもいいです。」
と言ってしまいました。
もちろん最悪は辞めてもいいという覚悟で言った事ですが、上司は「そんなのが原因？」という態度でした。
他のパートさんもほぼ全員その上司から怒鳴られたりしていて、今までもその上司のせいで何人も辞めてしまったそうです。
せっかく覚えた仕事ですし、やりがいも感じているので、本心は辞めたくないです。
こういう上司に対して自分の気持ちが前向きになるのはもう無理なのでしょうか。