上司からの食事の誘いについて

上司(男性)からの食事の誘いについて悩んでいます。 今年度に入ってから月に1回、2回は食事に誘われており、いつも上司(男性1)に対し、女性2〜8人というメンバーで開催されています。 最初は断るのも申し訳ないと思って参加していましたが、いつもメンバーが女性ばかりなことに違和感を覚え、最近は断るようにしています。 周りに聞いたところ以前からお気に入りの女性を集めて飲み会をすることがあったらしく、1度注意を受けて控えていたそうですが、部署異動をきっかけに再開してしまったようです。 部下の女性と二人きりで飲んでいる訳では無いですし断ったらすぐ引いてくれますが、毎回断るのも疲れます。出来れば誘うこと自体をやめてもらいたいです。 会社の相談窓口などに相談しようかと迷っていますが、古い考えが残っている会社なのでこの程度で相談されても…という反応をされたり、相談したものの解決しないということが起きないかが不安です。 上司のこの行動はセクハラに該当すると思いますか？また、このような上司にはどう対応していくべきでしょうか。