異性上司の距離の近い言動について

始めまして。社会人3年目の者です。
職場の異性の上司（50代妻子持ち）の方の言動について、相談に乗っていただきたいことがあります。
上司に下記のような距離の近い言動をされます。
具体的には、

・作業着などの洋服（上着、ズボン、靴下）や靴を貸そうか？と言われる。
・一緒に休日に○○しよう、好きな人はいるか？俺のことが嫌いか？等聞かれる
・「好きな人いたら応援する」「女の子を作ってる（化粧をしてることにとやかく言われる）」等言われる
・「引越しとかするなら手伝う」等言われる
・私が頼んでいないのに他の人に私のことをお願いしに行く言動をされる。

等の言動なのですが、何度嫌な顔をして断っても懲りずに仰ってくるため、正直気持ち悪く、我慢出来ずに本人に直接「そう言った言動は辞めてください」とお願いしました。
上司からは、「俺の娘がされていても何とも思わない」だとか、「嫌がるとわかっていて（上記のような言動をする）」等と返されました。
私としては夜も眠れなくなるぐらい上司の発言にストレスを感じているのですが、ストレスを感じる私がおかしいのでしょうか？
職場でも何名かの方に話を聞いてもらい、「貴方はおかしくない。人事に相談すべき」等言って貰えましたが、皆さまから見ても人事に相談しても良い案件でしょうか？
また、私が勤めてる会社は部署異動も難しいような中小企業なのですが、人事に相談して、言動が改善されるものなのでしょうか？
問題の上司は役職についており、正直その方がいないと仕事が回らないような会社なので、私が転職するしかないのかなと思っております。
社会の先輩方、距離の近い上司との関わり方についてご教示ください。