担当割り　難しいです

仕事の担当割りをしているのですが、難しいです。
チーム内で一人、毎月、残業時間が突出して多い人がいます。仮にＡさんとします。確かに派遣社員や契約社員が多い中、正社員で社歴がリーダーの私より長いＡさんには面倒くさい担当を割り振っていますがその分担当件数を減らしています。上司の指示でＡさんの担当を減らさなければならないのですが、正直納得できないんです。他の人が定時で帰るために休憩も取らずに働いている中、Ａさんは離席時間が長いし仕事の進め方にもかなり問題があると感じているからです。上司にもその旨伝えましたが、とにかく一人残業時間が多いのは問題があるのでとにかく減らすように言われています。Ａさんの勤務態度を変えることは無理です。１０年以上、私語し放題で好き勝手に離席するというような働き方をしてきて今更変わるはずもありません。上司の指示には従わねばならないのでしょうが、どうにも納得できないんです・・・
このような場合、私はどうすべきなのか教えて頂けないでしょうか？