言われたくない言葉

どうしたらよいのか悩んでしまって、小町のみなさんだったらどのように対応されるかお伺いしたく、トピをたてました。

８月に異動があり、この週末歓迎会をしてくれました。
異動先は小さいながらも優しい方が多く頑張ろう。とおもい取り組んでました。

その歓迎会でお酒が入って和やかに終盤に差し掛かるときに、アル子が私に向かって「ピエロに見えてきた。」と言いました。
私はそう言われるのが小学生からのトラウマでとても嫌だったんです。大人げないし、場も白けてしまうのですが、血の気が引いて本気で怒ってしまいました。
それでも、上司は「人に笑ってもらうんだから、君にピッタリ」とアル子のフォロー。また怒りで暑くなって腕をまくると別の人が「あ～ぁ本気で怒ってる」と笑いながら言いました。
確かに、どこかズレテいるのかまじめに取り組んでもピエロ的な感じだったこともありますが、ひどい事を言われても気にしないようにしてきました。それが私に何を言ってもあまり感じないと思われて、この言われる原因を作った。とは思いますし、お酒の席で怒るのは大人げないので、途中からは気持ちを切り替えて普通に対応したら、何事もなかったように歓迎会は終わりました。。。

正直、休み明け、どう対応したらいいのか悩んでます。
大人げない対応をしたと理解してますし、小学生の頃の嫌な気持ちが思い出され、また、普通、褒め言葉で言わないようなことを言った本人を嗜めず、嫌だと言ってるにもかかわらず、それをかぶせて肯定してくる上司も理解が出来ないです。また、お酒の席の言葉を本気で怒って場をしらけさせたと思われてるかも。と思うと、仕事に行くのも嫌になっています。実際は休めませんが・・・・
そして異動したばかり、これからの事を考えるととても憂鬱です。
皆様の知恵をお借りできませんでしょうか。