セクハラ・パワハラじゃないかもしれませんが

先日、部門内のトップ(役員)の還暦祝いを行うにあたって、部門内で出欠確認が有りました。軽い気持ちで確認リストを見てビックリ!
まず、主賓の部門トップは当然として、部門内の管理職が30人位(係長クラス以上:全員男性)…。
と、ここまでは良くある事なんですが、残りのメンバーは全女性社員。それも派遣さんや契約社員まで…。
女性社員内では
「コレって私達に御酌しろってこと？」
「このメンツで断ったらヤバくない？」
「〇〇さん♀(部門トップの秘書)は参加せざるを得ないけど、彼女をボッチ参加させるのは可愛そう」

ってことで、イヤイヤながら参加しなくちゃいけない空気です。

管理職でない多くの男性社員には慰労会がある事すら知らされてないようで、慰労会の事を知った一般男性社員は
「行かなくて良くなって良かった～～」
というか人から
「なんでオレ達は招待すらされないのか？」という人まで様々です。

お聴きしたいのは
1 参加するべきか？
2 この様な会社行事のやり方は
パワハラ、セクハラにはならないのか？

今回はイヤイヤながら参加するか～～↓とは思ってますが、また同じ様なことが有ったらどうすれば良いか、あとご意見、アドバイス御願いします。