勤務表の不平等について

トピを開いていただきありがとうございます。
私は30代の介護職です。
勤務表の不平等についてご相談に乗っていただけたらと思います。

私の勤務している職場では、早番、遅番、夜勤で勤務が作られています。
上司が勤務表を作成しているのですが、偏りがひどく疲れ切っています。
上司が自分の入りたいエリアで早番のみ行うので、そのエリアの他職員は月のほとんどが遅番と夜勤の勤務になり、早番は1～2回しかないことが多いです。
遅番は勤務内容がきつく、時間もかなり遅くまでなので家に帰っても疲れ切って何もできません。
他の部署の職員が勤務表を見て「ひどすぎるよ」と言うほどの勤務です。
小さい子供がいる女性職員は2人のみで、配慮されているのは理解できます。
ですが、上司も私も独身で他にも独身の職員が多数いるのに、私と一部職員が遅番ばかりの勤務になるんです。
前に他部署に異動していった職員が上司のこういった勤務表の作り方や、好き嫌いでエリアを選ぶことについてさらに上の上司に話したのですが、全く効果がありませんでした。
他の職員が勤務が辛いと愚痴をこぼした話が上司の耳に入ってしまったことがあり、その時はものすごく不機嫌になり物に当たり散らし、愚痴を言った職員はしばらく目の敵にされ仕事の会話すら冷たくされ辛い期間を過ごしていました。
なので、直接交渉する時は辞める覚悟で行くしかありません。他職員はすでに諦めています。パワハラどうこう騒がれている世の中ですが、介護職は人手に困っている為、上司が指導されることはありません。上司クラスが辞めたら困るからです。
自分も上の上司に相談しようか、こういう内容で労基に相談していいものかとても悩んでいます。
遅番ばかりの勤務でも法には触れないと思うので。

できれば辞めたくないので、ご助言いただけたら嬉しいです。