セクハラ？上司をうけつけなくなった。

30代女性です。

昨年から上司が変わりました。一緒に仕事するようになり約1年。

職場での服装は、お客様に失礼のない程度、というぐらいの約束があるぐらいで、比較的自由です。
先日、ワンピースにカーディガンを羽織って出勤しました。特に派手でもなく、色も地味で、丈も膝が隠れる程度でした。

その日、ふとした時に、上司から「今日は女らしい恰好だね。そのワンピースを着ているのは初めて見る」と頭の先から足元までジロ～と見ながら言われました。

そのワンピースを着て出勤したのは初めてではなかったのですが、、、
え？毎日私の着ているものをチェックしているの？と感じてしまいました。
それ以来、その上司が気持ち悪くて仕方ありません。

この件以外にも、常に下ネタに関連づけるような会話が多く、そのような下品な会話が楽しくて仕方ない様子なんです。
下着姿の店員がお料理を運んでくるようなお店が好きらしく、仕事中もその店の話や、イベントで水着姿の若い女性を見て満足したなどと話かけてきます。
うちは月に何回だ、たまには発散しなくては、等々聞いていて恥ずかしくなるような話を平気でします、その時の上司の顔といったら、、ニヤていて本当に不気味です。

恋愛感情とかではなく、オスの目線として、こっちをジロジロ見られているように感じて苦痛でたまりません。

小さい会社ですので、セクハラの窓口などありません。
上司のそのうえの上司も男性ですし、私が訴えたところで「女性側の気にし過ぎ」となり、逆に私がおかしな目で見られるのではないかと思ってしまいます。
その反面、出社拒否になりそうなぐらい、上司への嫌悪感がつのってきます。
どうしたらいいのか、混乱していて困っています。