仕事の仕方について

少人数の職場にいます。 少人数のため、1人1人が動かなければ回らない仕事量です。 しかし、現状は真面目に働く人は仕事が多く、手を抜いている人は私用をする等、時間を潰して残業しています。 そんな中、上司は全く指示を出しません。 陰で文句を言っています。 先日、通常より作業が進んでおり、普段残業している人が何人か帰ったタイミングでした。 本来であれば私が言うべき立場ではないのは重々承知の上で(この件に関しては、今まで何度も上司に訴えており、変えないといけないと認識しているようですが行動(指摘)してもらえなかった)、仕事をしない人が時間を潰しているのが目に見えたので、明日進める仕事が進んでいるから、遠回しに仕事をしないのであれば帰ったらどうですか？と声掛けをしました。 2人のうち1人は帰りましたが、その後、もう1人の人が帰ろうとした際、上司が処理溜まっているから見てと引き留めていました。 それは上司の判断なので、構わないと思うのですが、それであれば1人目が帰った時に(もっというなら始めにどこまで仕事を進めて欲しいと)言って欲しいと思いました。 その際、1人目の人(私用をする人)を引き留めた方が良かったですか？と聞くとそれに対しては何も言わず... 評価者には指示を出すことを評価されており、どう対応すれば良いのかわからなくなってしまいました。 指示がない職場で、どう仕事をしていくのが良いでしょうか？