これもセクハラ？一矢報いたい。

トピを紹介してくださって、ありがとうございます。
まず、状況がわかりやすいように、自分のことを説明いたします。私は50に近い40代で、持家あり、職場では係長クラスです。
この度、私の職場で寿退職をすることになった職員がおり、補充が必要なため上司に報告をいたしました。すると、私に対して「妬ましい？」などのからかいの言葉をかけるのです。セクハラとコミュニケーションの間のような発言なので、適当にいなしておきましたが、何か釈然としません。
というのも、この上司、50代ですが独身です。噂でしか知らないので断言はできませんが、若い時は相当な遊び人だったようです。そういう人間に、こういう部下の結婚をひがむような人間呼ばわりされるのは不愉快です。どうか小町の皆さま、すっきりさわやか、でもグサっとくるような反撃の一言、ご指導くださいませ。