好意を持ってる上司に‥

私は好意を持っている上司がいます。その上司なのですが、この間、事務所で

「知り合いに、ここで働いてるのバレたら嫌だから女装でもするか(笑)そしたら俺、毛剃らないとダメでしょ(笑)」

と私ではない女性と冗談を話していました。
その後、いきなり私に話を振られ、

「その時は〇さん（私）に剃ってもらう～」

といきなり話を振られました

「え？？」

としか返せませんでした

その後、上司は

「嫌なのー？嫌なのー？」
と繰り返してきて

「嫌とか言ってるとさあ、川に落ちるよ(笑)」

あ、川に落ちる、ってのは、私が雪道運転で川に落ちそうになった話を上司としたからそれを持ち出してきました。私は

「川に落ちちゃうとか関係ないじゃないですか(笑)」
と私なりに一生懸命返答

その後、上司は

「嫌なのー。愛でしょう？愛‥」

とか言ってきました。

好意持ってたので、なんていうか複雑です
冗談なのは分かりますがモヤモヤしてます。
私が自意識過剰になっているだけですか？頭から離れません