この直属上司の言動はセクハラ？

私は総務系の仕事をしている女性（20代）です。
現在の職場に転職し1年目です。配属後、他社の社員と交際している旨職場全員に伝えてありました。

先日直属の上司（既婚）からお酒の入る席で、「くるまやのこと気になる」「彼氏がいるというのはウソだ」「一緒にいろんなところに行きたい」「俺が結婚していなかったらどうなっていたかわからない」と言われました。
私はなるべくと人間関係を壊さないように表現に気を付けて拒否しました（つもりでした）。
その後、その上司が私不在の席で「くるまや、Ａ君（社内の既婚の人間です）と怪しいって聞いたんだ。くるまやのことが心配だ。」とをしていると聞きました。噂の出所も不明、事実無根の話です。

これはセクハラなのかとその話を聞いて以来、上司不信に陥ってしまっています。
どなたか、上手な割り切り方をおしえてください。