どう対応するべきだったのか(愚痴)

しょうもない話ですがよろしければ聴いてやって下さい。
当方、高校生でバイト先の話なのですが。

バイト先に3つ年上の（私に対してだけ）やたらと嫌味な態度で頭ごなしな先輩がいました。
同じミスを他の人がしても全然怒らないで笑顔で応対するのに、私に対してだけゴミ呼ばわり等の人格攻撃までして怒られます。
（ミスをする自分が全面的に悪いのは分かってます）
他の人がお客さんと仲良く盛り上がったり評価されれば絶賛して褒めちぎるのに、それが私だと
「くっちゃべってないで仕事しなさいよ」と怒られたり、すれ違いざまに聞こえよがしな溜息をついてきたり。
（私はお客さんと話しこんだりせず直ぐ仕事に切り替えていますし、寧ろ他の人の方が延々と話込んでるのですが・・・）

そんな嫌味な先輩が2週間ほど前に退職しました。で、先日その先輩が制服を返却するのに職場に来ました。
そして私を見かけるなり嫌味な雰囲気ではなくフレンドリーな感じで「アンパンさんお久しぶりです！お元気ですか？」
と声をかけてきました。

私としては先輩の態度の豹変ぶりに言いようのない気持ち悪さを覚えたのと、元々疎ましく感じていた相手でもあったし
何より仕事中だったので素っ気無い対応をとりました。（はぁ、どうも、的な)
すると先輩が悲しそうな顔をして「えっ・・・私の事忘れちゃったのカナ？忙しかった？ごめんね・・・」と言って立ち去りました。

後で他の先輩達から「先輩、アンパンさんに冷たくされたって悲しんでたよ」と責められました。
なので正直に『丁度その時手が離せない状況だった、あと日頃から辛辣にされていたのであまり好きではなかった』旨を話したのですが
先輩を傷つけた以上、私が全面的に悪いとの事で少し叱られました。

それを言ったら私なんて普段から傷つけられたのですが。と納得できません。
皆様ならどうお感じになりますか？