上司のセクハラ、どうすることもできない自分が嫌です

某大手企業に秘書として勤めています。担当している上司の一人に、セクハラを受けていると感じるのですが、どうしてよいのか分からず途方に暮れています。
下っ端の私に対して、彼は会社ではかなり上のポジションにいる方です。席も比較的近く、時間を見つけては私や隣の同僚に向かって
世間話を、長いときは1時間近くします。たとえ、私たちが忙しそうに仕事をしているときも、自分の都合（気分）で、話かけてくるのでたまにいらいらしますが、
普段ストレスがたまっている方の話を黙って聞くことも、秘書の仕事の一部だと理解しているので、あまり不満は漏らさないように我慢しておりました。
そんな日々の中で、最近、贔屓にしている飲食店の話が出てくるようになりました。一緒にいかないか？と無邪気な様子で、私たちを誘うのですが、
やんわりと断っておりました。そのお店では、グラビア雑誌に時々登場する方が、働かれているそうです。「すごい可愛いんだよねー」と、私たちに楽しそうに話し、時には「その女の子が、僕の膝の上に座ったんだ！」などと、
びっくりするようなことも発言しておりましたが、特に上手い返しもできず、二人で話をきいておりました。
そんなある日、おもむろに社内便の封筒から冊子を取り出しました。それは某グラビア雑誌でした。若い女性の健康的な水着ではなく、
熟女系の女性のグラビアだったのです。それも相当、淫乱な感じでした。世間一般では、非常に固いイメージのある会社に勤めており、そんな中で今回のようなブラックなことがあったなんて
正直自分でも信じられないくらいです。できれば波風を立てずに、平和に仕事をしたいと考えている手前、社内の機関に相談なんてできないと考えています。今後、どう対応したらいいでしょうか？