パワハラまではいかないけど…。

現在、2年近くアルバイトとして働いている職場があります。
今までは会社の人達とも上手くやってきたつもりなのですが、最近自分の意識していない所で上司の怒りを買った様で、他の社員の人から早く謝った方がいいと言われました。上司は気分屋な所があり、今まで他の社員を悪く言ったりしていたのですが、今度は私が標的になってしまったようです。
直接怒られた訳でも無く、原因が解らないのに謝りに行くのは何だか腑に落ちないと言うか納得が出来ません。
また、私が担当して居たものを担当から外すとも言っているそうですが、直接は言われていません。
謝った方がいいと助言してくれている社員は、私が担当を外れると自分にその仕事が回って来るのが嫌なので謝罪した方がいいと言っているようです。
幸いその上司とはオフィスが別なので顔を合わせる事も少ないのですが、その上司を敵に回すと怖い(大変)と言われている程なので、どうしたらいいのか悩んでいます。
今の所は無視と他の社員の前での私の悪口しかないのですが、この先が怖いです。
潔く辞めてしまった方がいいのでしょうか。