拘束時間が長すぎて耐えられませんが、わがままですか？

仕事について困っており、第三者の客観的なご意見をいただきたいと思いまして、初めてトピをたてました。

宿泊を伴う業務をしているのですが、週末に自宅へ帰っていることを上司から咎められました。
今の職場は下記のような状態で働いています。

1　8：30～17：15（45分の休憩）の業務（あっという間に時間が経ちます）
但し、経験が浅いため、21：00頃まで残って作業する日がほとんどです。

2　週1で17：00（場合により16：00）～9：00（翌朝）の宿泊を伴う業務
こちらは、0：00～6：00は就寝時間となっています。（問題があれば起きていますが…）
2業務の翌日は1の業務を基本的には休みということでしたが、
最近は出勤要請が増えてきていて代休も溜まっている状態です。

3　2の施設で朝・晩にチェックする業務（朝・晩の各30分程度）
主に担当している方が都合でできない場合の代行をするように言われています。
3の業務を行う場合は、21：00～7：30（翌朝）の宿泊を伴います。

4　2での施設の生活環境を整える指導
日数の指定はされていませんが、平日4日間、この施設に宿泊して気がついたことを行っています。（掃除や片づけ）

1の業務がメインで給与が支払われていますが、この施設に関わる業務に関しての手当が年度の途中から支給されています。
1の業務は基本的には月～金ですが、土日に出勤しなければならない日もありました。こちらも代休といわれていますが、溜まっています。

朝7時に施設の簡単な業務をして、8：30～20：00まで1の仕事をして、
施設に戻り、また出勤というペースで平日は過ごし、週末は自宅へ帰るという私の働き方は、間違っていたのでしょうか？
そうだとしたら拘束時間が長すぎて耐えられませんが、わがままですか？