セクハラ？パワハラ？

とっても人望が厚く上からの覚えもめでたい上司Aに飲み会で信じられないことを言われました。 これまでさりげない気遣いなどよい上司だなあ、と思っていたんですが、飲み会で初めて二人で話す機会があったとき、住まいや休日の過ごし方につき聞かれました。 普段はが業務上の会話がほとんどなので、最初は打ち解けようと気遣いをして下さっているのかと思ってたんですが、家賃やら恋人の有無やら果てはたくさんの男性を手玉にとっているんじゃないか、本性は違うんじゃないか、といった意味不明な中傷まで。 別の機会にも同様のことを言われたため、自分に対してなんらかの含みがあるんだと思っています。 周囲の複数の社員にそれとなく上司の言動について話題にしてみましたが、みんな屈託なく「いい奴（人）だよね」。 なるべく接触しないようにしているのですが、これまで何度も絡まれているため泣き寝入りするのもちょっと府に落ちない気がします。 どうするのがいいと思われますか？