職場の飲み会に誘ってくる彼の心理

初めて利用させて頂きます。

21の時から付き合って1年半になる同い年の彼氏がいます。
極稀にですが、彼の職場の飲み会に呼ばれることがあり、
その都度、断り方に悩んでいます。

前もって参加を聞かれるわけでもなく、
急に「今、飲み会してるんだけど来る？」と連絡してきます。

正直なところ、私は彼の職場の人達にあまり良い印象がありません。
他人の奥さんや彼女の存在を揶揄ったり、悪態を吐いたり、
連れを馬鹿にされた当人の反応を見ては楽しんでいるようで
まるで中学生みたいな社会人だなと思っています。
（話を聞く限りですが）
悪い人たちではないでしょうし、女性も集まると相手の悪口を話したりするので
男性の飲み会もそんなもんだろうなぁと割り切っていますが…。

私はそもそも社交的な方ではないですし、飲み会の席も得意ではありません。
突然の誘いなので毎回断っています。
彼氏もおそらく周りの先輩たちに煽られて、渋々連絡してきているだけなのだとは思いますが、
「もうちょっと愛想よく返事できないの～？」と
笑いながら言われたりして、少しムッとします。

そういった場が苦手としっていながら、
なぜ年上で男ばかりの飲み会に私を誘うのでしょうか？
結婚する予定も全くないですし、彼の両親にすら会った事ありません。

それとも、良い印象をつけるために一度飲み会に行った方が良いのでしょうか。
恐らく容姿や振る舞いについて、後々揶揄の対象になるでしょうが…。
職場の同僚や先輩たちに彼女を紹介しようという心理について、
また経験したことのある方々の対処法について、
皆様の経験上のご意見が頂けたら幸いです。