上司からの扱いがつらい。もう潮時？

秘書をしてます。4年間お世話をしている上司がいます。この上司について相当悲しく絶望的な思いをしています。どなたか状況を客観的に見て、私にどうするべきかご指南頂けないでしょうか？ －私たちは基本的に相性が悪いのか、過去何度も人間としての距離を縮める努力をしましたが、徒労に終わりました。なので現在は仕事以外のことはほとんど話さない関係です。多忙にていずれにせよ雑談の時間もなく、私もお邪魔をしないように必要最低限しか話さないというのもあります。 －仕事は完璧以上にこなします。彼にしてみれば、私ほど彼を理解し先回りをして周到に仕事をする秘書はいないと思います。だからこそ、相性が悪くてもずっと雇い続けられているのだと思います。 －意味不明に機嫌の上下が激しく、いつも私が怒鳴られ無視される役割です。外面はかなりいいです。 －私は彼が怖くて仕方がないのです。いつまた怒鳴られるか、彼がいる時は緊張の糸がはりつめます。 －それでも一生懸命してきましたが、会社に若い女性が二人入ってきました。彼は彼女たちには丁寧に接し（私への仕打ちは密室で行われる）彼女たちとは楽しい雑談もします。 －最近では秘書の私に頼むであろうべきことを彼女たちに頼みます。彼女たちはそれを不満に思っていますが、愛想よく対応しています。私だって内心不満です。どうして私をスルーするのでしょう。 －ついに最近、彼女たちの一人に、秘書の私しか権限がなかったことを与えました。ここで私は糸が切れ、やる気が消えうせました。 －彼女たちは私が上司と雑談をしないのが悪い？的に暗にほのめかします。私は別に無愛想ではありませんし他の人とも時に楽しく雑談しますが上司に対しては仕事をするのが第一ですし、大体私をこうしたのは彼です。誰が無視されてまで話しかけたいですか？ もう潮時で辞めるべきなのでしょうか。自信をすっかり失いました。