真面目な人ほど損をする？

私は医療で働いています。外回りもしますが、事務職です。
パートで働いています。毎日とても忙しいですが、やりがいのある仕事で充実しています。
忙しい仕事の中、残業しないように必死に仕事していました。
中には仕事がゆっくりで毎日残業している人もいます。でも、職場としては残業を減らしたいので、そんな人は仕事が減っていきます。
私は今でも忙しいのですが、上司から仕事を増やされました。
もう、今でもギリギリなので残業確定です。
私には大学生と高校生の子どもがいるのですが、下の子どもが高校を卒業するまでは部活を見守り食事をきちんとしたいのです。そのために必死でこなしていました。
でも、結局は楽した人が得をするんですね。仕事ができる先輩たちは同情してくれました。私はまだ入社して一年です。
先輩の助言もあり、上司に言って与えられた仕事のうち、一つ減らしてもらいました。
私より勤務時間が長い人が私より仕事量が少なく、おしゃべりしてる姿に納得いきません。
それと、言われた仕事をすることもしないで、する前に断った事にもモヤモヤした気持ちが残ります。
仕事は辞めたくありませんが、やる気になれません。