職場の掃除について

現在、20人程度の職場でパートとして働いてます。うちの職場では、始業前にゴミ集め、掃除機をかける、お茶の準備をする等の雑用があります。それをするのは、入社歴が浅い人4人でする決まりがあります。私もその中の一人にあたるので、5年間ほどずっとやってきましたが、つい最近新しい方が入社されたので、順番的に私がその雑用から抜け、他の4人にお任せすることにし、朝も今までよりも5分ほど遅く出社するようにしました。 すると、なんだか勝手な想像ですが、「あ、もう手伝ってくれないんだ」みたいな目で見てくる人がいるのです。 これって、私のやり方が間違ってるのでしょうか？私はルール通りにしてるのですが…。ちなみに、その嫌な目で見てくる人は、仕事においても誰かに手伝ってもらおうとする甘えがある人です。 今後私は堂々と出社していいのでしょうか？