定時割れ

私は９時５時で働いています。
最近５時まで仕事がなく定時割れの日々です。
流れ作業のピッキングなので１人抜けるとラインが止まってしまいます。
５時で終わらない日は何も言われないまま勝手に残業させられます
終わりが６時半になってもです。

私は５時までは働きたいけど５時すぎたらやりたくありません。
１時まで勤務の人は残業して自分の好きな時間に帰ってます。
３時や３時半など、好き勝手働いてます。
それを見て凄くイライラする自分がいます。
私も１時まで勤務にかえたいくらいです。

定時割れしてるのに何で残業してるの？っておもう私は性格悪いですか？
みんな５時までで、帰っていたらまだ納得できますが同じラインの何人かは別のラインへお手伝いにいく人もいます。
仕事ができる人とかではなく定時割れするとうるさい人です。
私も同じ気持ちなのにって思います。
上司に上手く伝える方法を教えていただきたいです。