文句を言われ続け、正解がよく分かりません

私は30代後半（女）既婚、3歳の子供1人、正社員として時短勤務で働いています。
同じ職場のAさん（50代後半、女性）に時短の日を減らして毎週○曜日など
決まった日を設けて定時まで残ってほしい、と言われ続けています。

私の会社に女性職員も事務所で勤務しているのも私とAさんのみです（職種は全く違います）
男性職員が事務所に出入りしたり作業したりすることもありますが、ずっとそこで仕事をするわけではありません。

数年前までは女性職員が他数名おりましたが、リストラがあり今は2人です。

このリストラされた女性職員のなかに、Aさんがとてもかわいがっていた人がいて、
それ以来本当にAさんにはキツくあたられてきました。

人がたくさんいたときは、Aさんが通院の予定や友達との約束などがあるときは
定時より少しだけ早めに会社を出て早めの電車に乗って帰宅できていたけれど、
今は2人しかいないので、私が早く帰ると、私の帰宅以降Aさん1人になるため
その「ちょっと早抜け」ができなくなるので、定時まで残る日を作ってほしい、
といのがAさんの要望です。
今までは「通院などで早退される日は、言っていただけたら都合をつけます」とお伝えし、
決まった日を設けることは断ってきました。実際Aさんから申し出があった日に断ったり
嫌な顔をしたことはありません。

ですがその都度「○日は早く帰るので…」と私に断らないといけない事が嫌なようで、
やはり決まった日を、となります。2人になったのにAさんのことを考えていない、私に配慮がない、との言います。
専務とも相談して、5分や10分のことだし男性職員もいるのだから、私の時短はそのままで
用のある日はAさんは早めに帰ればいい、という事にもなったのですがAさんは不満なようです。

私がまちがっているのでしょうか？