パートです。急に勤務時間を短くしても大丈夫？

扶養内でパートをしています。

勤務先は社会保険に入っている人がほとんどで、定時もあってないようなもので、業務終了まで働いています。
遅い時は21時くらいになります。

ほとんど、パートで成り立っている会社なので、あとは社員がしますということもできなく、残らざるを得ない状態です。そうでないと誰もやる人がいないので。

扶養内でも時間は特にきまっておらず、私の場合、子供も大きくなり、時間に融通が利くため、フルタイムの人たちと同じような働き方をしています。
結果、9月頃になると調整しなければいけません。
本当は平均的にに働きたいのですが、そういう体制が当たり前になってしまっています。

しかし、最近体調を崩してしまい、辞めようか相談したところ、短い時間でも来てほしい、体調が良くなれば、また長く働いてくれたらいいと言われました。
これをきっかけに、17時までで週３,4日と定着できればと思っています。

しかし、誰もが本当は定時に帰りたいけど帰れないと思っている職場です（中には稼ぎたい人もいますが）
私だけがきっちり１７時に帰るということに対して、ずるいという感情が生まれるだろうと思います。

それとも、私の気にし過ぎなのか。
扶養内だから仕方ないと思ってもらえるでしょうか。

ちなみに、これが扶養内ではなく、社会保険に入っている場合だと、やはり白い目で見られますよね。