上司からの好意？

新卒で入社し、今年で３年目になります。 直属の上司ではないのにやけに親切にしてくれる上司がいるんです。 初めは「先輩が後輩に対して」という意味の親切かなと思っていましたし、仕事上でも信頼出来る上司でした。 ところが数ヶ月前、突然週末にドライブのお誘いを受けました。 直属の上司でもないし、仲良しなわけでもありません。 しかも相手は既婚で、お子さんもいらっしゃいます。もちろん断りましたが正直引いてしまいました。 思い返せば「髪型変わったね」なんて言われたり、私が一人になった時を見計らったかのように私のほうへ来て話しかける、なんてこともありました。 お誘いを受けて以来、上司が私のデスクの方をよく見ている視線にも気付き、正直気持ち悪いと思うようになりました。危ない人の視線って感じです。 社内のイベントで真っ先に私の隣を陣取ってきた時には恐怖すら感じました。 信頼していただけにショックが大きいです… さらに上の上司に相談しようとも考えましたが、私はまだまだ新人扱いで社内の信頼も薄いです。 彼のほうがキャリアもありますし、私が嘘をついているor自意識過剰なんて思われてもおかしくない状況です。中小のためセクハラに対応してくれる制度？もあるかもわかりません。 毎日視線を感じたり、二人きりになる恐怖で会社に行くのもツライです。 最悪辞めることも考えていますが、泣き寝入りすることになりそうで… もうどうしたらいいかわかりません…私の自意識過剰なのでしょうか… ご意見お聞かせくださると嬉しいです。