上司と合わない

現在私は、ある職場で派遣社員として働いています。
職場は５人という人数しかいないのですが、上司に対して私。
他３人は、別部署で仕事内容も違います。
この上司との性格が合わず・・・
私のミスが多いのか、「言っている事わかる？」と何度も言われる度凹みます。
覚える気マンマンでも、口癖のように「言っている事・・・」と上から見下された言い方をされると、どうもバカにされたような気分になり、はっきり言って喋りたくもありません。
別部署の女の子とは、話も合わないし元々おとなしい性格なのか？！
毎日会っても、会話なし。
別部署の女の子は、暇なのでお昼寝、ネット三昧、雑誌読み放題。
彼女の方は、待遇も良いので、私はうらやましがるばかり。
そんな私は、正反対で仕事はビッチリ、ましてや上司とも気が合わず、ストレスがたまる一方です。
誰もこの状況を分かってくれる人も会社にはいなく、仕事先を変えようか？頑張るべきなのか？悩みまくっています。
もちろん、今までいろんな会社を見てきたので大変な事は分かっているつもりです。
このような経験をされた方、いらっしゃいますか？