バイト先にて

僕は最近初めてバイトを始めた高校2年生男です。

今日の出来事です。
僕の職場には社員が2人います（AとBとします）2人はお互いのいない時だけ悪口を言っていて、職場ではA派閥とB派閥に分かれています。僕は最近入ったので中立ぐらいで好きも嫌いもないのですが、今日Aさんと被った時に
職場に好きな人とか嫌いな人とかいる？みたいな世間話？になり、俺のことはどう？と聞かれました。
正直、残業も多いし 残業をしたとしても感謝すらないのであまり好印象ではないです。
なので、優しいし色々教えてくれて好きですけどちょっとあの時とかは嫌でしたねーっと冗談混じりで話すとAさんにあまり本人にそんな事言わん方がいいで。と言われ、時間だったので謝り帰ってきました。
  思い返せば言わなくていい事を言ってしまった僕が悪いのは重々承知です。
なので、次会う時に気まずくならない方法はないですか？
また、次会う時はAさんはこのことを覚えていると思いますか？

下手くそな日本語ですみません。解答よろしくお願いします。