職場の事務員との関係について

私は会社でパート勤務しています。そこの事務員Aさんとの関係で悩んでいます。第三者の方は、客観的にみて、どのように思われるか、参考までに聞かせていただきたいと思い、投稿いたしました。 少し前、私は会社を体調不良で早退しました。もちろん、上司（会社のトップ）の了承も得た上でのことですし、その日勤務していた人は、全員知っています。それから、勤務時間はタイムカードで管理されています。先日、別の事務員さんから、「Aさんが、勤務時間計算のとき、すごく怒っていたよ」と聞きました。なんのことかと思ったら、私が早退したことを「聞いていない」と怒ったそうです。 ちなみに、私はAさんと勤務日がかぶりません。だから直接お会いする機会がないので、Aさんには、欠席や早退の理由は報告していません。その都度報告していた時期がありました（そうするものだと思ったので）が、電車の遅延による遅刻を報告した際、「そんなのニュースを見ればわかるから」と一蹴されたので、それ以降、Aさんに報告するのをやめました。 ちなみに、Aさんは会社で唯一の常勤事務員です。会社のトップはAさんの性格をよく知っていて、個々の職員の給料計算はAさんに任せられないと言っていました。あくまで時間計算のみです。 Aさんは、職員のパソコンの履歴をチェックしては「勤務時間中にネットで遊んでいた」と周囲に言いふらしますが、自分は勤務時間中に好きなブログを読んだり、人のうわさ話、陰口を言ったりしています。 私は、事務職ではないので、Aさんとは全く接触がありません。だから、Aさんが影で何を言おうが知らないふりをしています。が、自分の立場を勘違いしてか、越権行為に及ぶことがあるので、Aさんの行動は上司に報告しています。こういう人への対応方法など、教えていただけたら幸いです。