上司の残業とフレックスに対する考え

支離滅裂な文章になってしまったらすみません。 私の勤めている会社では、フレックス制度を取り入れています。 私もフレックス制度を有効に使いたいと思っているのですが、上司が思う様に使用させてくれません。 残業した後日、家族の用事で突発ですが、早く帰宅しなければならず、フレキシブルタイムの所で早く帰る旨伝えました。 それについて後日、残業の事で呼び出しがあった際「早く帰る為に、残業するなんておかしいからな！」と怒鳴り口調で嫌味を言われました。 他、納期ある残業について、残業申請をしても却下され「そんな仕事、大した事ないだろ！」と残業も却下されます。 ライフワークバランスにてフレックスを使用したくとも、残業も却下され、早く帰る旨伝えると上記の様な言葉を何回も言われました。 ちなみにてすが、他のメンバーの方では、残業した際、朝遅れて出社する方が多くいますが、その方には私の様な事は言っていません。 フレキシブルタイムの事なので、自己管理となるはずなのですが、「フレックス使うなら○○に早く帰るから、○○に残業する一ヵ月先までの業務計画をだせ！」と不可能な事を言います。 残業も、精算期間内で消化すれば、最終的にその月の残業にはカウントされないのですが、それすらも否定されます。 元々、感情の起伏が激しく、機嫌が悪いと怒鳴りつけたりする上司です。 このやりとりが数ヶ月続いており、精神的に辛く、仕事がしづらい状況となっております。 私にも非がある所もあるかも知れないですが、 フレックス制度の自己管理の部分についても、過剰な管理をされるのは疑問があります。 上司次第……と諦めるしかないのでしょうか。。