理不尽な上司の仕事の指示

業務のことで悩んでいます。
というのも、上司が仕事が断れない人で何でも仕事をもらってきてしまいます。
なので周囲よりいつも断然忙しくしていますが、自業自得と周りからは見られています。
で、その上司の部下に私はいます。
上司は周りには弱いのですが、私にはなぜかとても厳しくなる人です。
なので、私と上司で業務分担はある程度あるのですが、上司が対応できなくなるとその分担を超えて私に無茶ぶりをします。
その内容は基本的に上司がやりたくないものです。
私も元々暇な業務ではないので断りたいのですが、もう私に振ってくる時点で納期に遅れてる、相手が怒ってるなどとても大きい問題になっているので断るという選択はない状態で、それでもたまに他の急ぎの業務をやってから対応するので良いか聞くと、自分の方が急いでいると、自分の業務を優先するように言われます。
その頻度がどんどん増加してきたため、今では自分の業務が全然進みません。
それどころかいつも上司の手伝いで残業ですが、先に帰られます。
（上司曰く、家とか休日とか勤怠に分からないところで仕事してるとのこと）
手伝っても感謝されることはなく、むしろミスをねちねち言われます。
しかし、上司の上司には私に手伝わせていることなどを隠しています。
有給も申請しても上司がいる日は自分の手伝いが出来ないからと許可されず、上司がいないときには代わりに対応する人がいないからと許可されないため、家族の具合が悪い際にも帰省を許されませんでした。
毎日、その日の上司の忙しさと機嫌でその日の業務内容のほとんどが決められ、退社時間もそれによって決められるので、何の予定も立てられないどころか、自分の業務の予定さえ立てられず、ストレスで体調も壊しはじめています。
上司の上司には相談してみましたが、すぐには何も変えられなそうです。
私はどうしたら良いでしょうか？