自分の仕事を頼んで早上がりする人

初めて投稿いたしました。不慣れなため、長文になります。

私はとある会社に無期雇用派遣で働いている20代の事務員です。

私が働き始めてから約2週間後に別の派遣会社から来た40代～50代の事務員の方についてです。(以下Aさん)

私もAさんもまだ働いて1年未満ですが、仕事に少しずつ慣れてきて、夕方から手が空くことが多くなりました。
Aさんは17時が定時なのですが、他にやることがなかったら早上がりしてもいいということになりました。(子供も数人いて家事があるため)

最初は何かやることはありますかと聞いて、なかったら帰っていたのですが、今は当たり前となってお先に失礼しますとだけ言い、16時半には帰るようになりました。

その点についてはなんとも思っていなかったのですが、この前自分の仕事がまだあるのに私に仕事を頼んで16時半に早上がりして帰りました。

私はもう帰るんですか？と自分の仕事がまだあるのに早上がりするのかと少し含みのある言い方をしたのですが、忙しかった？と全く理解されてなく諦めて引き受けました。(ありがとうございます等のお礼も言ってないです)

私は18時が定時で手が空いていましたし残業にはなりませんが、Aさんが私に仕事を頼んで早上がりする理由にはならないと思っています。
また早上がりも何もやることがなかったら前提のはずです。

派遣先の上司もAさんがお気に入りのため、何も注意せずモヤモヤしています。

この事は自分の会社の上司に相談した方がいいのでしょうか？

それとも私が我慢すればいいのでしょうか？