直接の上司との関係

職場の直接の上司との関係が日に日に悪くなってきています。
最初の半年間は良好でしたがそれを過ぎた頃から少しずつ私に対する態度が変化してきました。
仕事上は答えてもらえますが、明らかに口ぶりも変わり、昼休みなどは私の顔を見ず他の女性と話す。
性格や生活態度の攻撃、自分と少しでも違うと全く受け入れず、否定しまくります。私のすること話すこと全てが気に入らない様子。
何度か話をしましたが、パートである私が特別扱いを受けていることが気に入らないと言われました。
でもそれは私自身が望んだことでもなく、又上司もそれは私の責任ではないことも認めているようですが、腹が立つみたいです。
正社員のプライドでしょうか。
ずっとその上司には気を使い何でも報告し忠実にやってきました。
そういう状況が耐えられず、退職したいと申し出ましたが、そんな理由で退職していたらどこの職場に行っても続かない。自分より上手の上司も幾らでもいると一喝されました。
自分との関係が理由で辞めたとなるのがいやなのでしょうか。
その上司は後数年で退職するとは思うのですが、それまでこんな状況で耐えていく自信もありません。
私自身も年齢的に次の仕事が簡単に見つかるわけもなく、性格的に神経質なので人間関係も心配です。最近は休みでも仕事が頭から離れず、夜も熟睡できなくなってきました。
直接の上司との関係で悩んでおられる方のご意見をお聞かせください。