上司の発言について

先日、上司を含めた複数人との会話の中で判断に悩む発言があったので投稿します。

その発言があったのは、｢私が芸能人の誰に似ているか｣という話題でのことでした。
その中で、ある上司が｢××(ウィッグを付けている方)に似ている｣と仰りました。
その芸能人自体は決して悪い印象ではなく、かつ同僚も｢似ている｣と判断はしておりましたが、その方がウィッグを付けている、という点がどうにも気になりました。

私は諸事情あり、現在ウィッグを着用しております。
おそらく上司はそのことに気が付いており、以前｢綺麗な髪だね、ウィッグみたい。｣という発言を私に向けたこともあります。
その発言を踏まえると上司の発言が、全て見越した上での悪意を持った発言のように感じられてしまうのです…。
あまり人を嫌いになりたくないので、悪意を持った発言であったとは思いたくありません。
ですがその発言を聞いて私の心が傷んだのも事実です。

そこで皆様にこの発言が悪意のニュアンスを持つものか、それともそのままの意味なのかを判断していただきたいのです。
自分の心に整理を付けたいので、お力添えをよろしくお願い致します。