飲み会の誘い

30歳のＯＬです。
男性からの誘いについて相談させて下さい。

私は明るい性格で、学生時代や前の職場では
率先して飲み会やイベントを企画・参加する
タイプでした。
今の職場では、同期の女の子とはとても気が合うので
楽しく会話するのですが、
会社全体の雰囲気と自分が合っていないのをヒシヒシと感じ、
色んな人と距離をとってしまいます。
今の会社では、可愛い女の子しか誘われない会があり、
私は年齢も見た目も完全にアウトで、ずっと声がかかりませんでした。
一度、可愛い女の子たちが一気に退職した後に、
人数合わせで参加したのですが、
男性から話題を振られることもなく、
女性同士で楽しみました。

飲み会だけでなく、普段の職場においても、
立場が上の方の人たちは可愛い女の子しか話しかけず、
よっぽど仕事で接する方以外に話しかけられることすら
ありません。

そんな中、今日普段話したことのない男性から
飲み会に誘われました。
が、日々の感じから、たまたま近くにいたから
私に声をかけただけだろうと思い、
なんとなく返事を濁し、すぐに仕事に戻ってしまいました。

我ながら大人げない対応をしてしまったと反省し、
でも「行きます！」と即答しても勘違い女かな？
と思ってみたり。

以前の私ならすぐに参加できたのに、
今の私は外見に対するコンプレックスが酷くなり、
全部素直に受け入れられなくなってしまっています。

私の考え過ぎでしょうか？？
こんなに女性としての魅力で差のある会社は初めてで、
最初は戸惑いつつも今は女性として扱われることは
完全に諦めています。

素直に飲み会に参加して良かったのでしょうか？？