飲み会が辛い

トピックを開いて頂きありがとうございます。
私自身、お酒が弱いこともあり、飲み会はあまり得意ではありません。
でも、お付き合いでもありますし、コミュニケーションが円滑になることもあり、基本参加をしています。
今までの職場でも、苦手だと気づかれることもなく、それなりに楽しく過ごしてきました。
この春転職をして、先日、始めての飲み会に参加しました。
今までの職場の飲み会では下ネタなどもあまりなく、皆で楽しく親睦を深めるということが多かったのですが、
現在の職場は私以外の皆さんが在勤10年以上の方々です。
飲み会の話題は昔の皆さんの飲み会での失態(主に下ネタ)が多く、大学生のようなノリ(うるさい感じ。かけ声など)で今まで経験したことがないノリで、かなり驚きました。
もともとあまり騒ぐことが好きではなく、話を聞いている方が好きなタイプなので、そういう場でもにこにこして聞いていればよいのですが、
先日は聞いていても、引いてしまって、だんだん具合も悪くなってきてしまいました。
また、私以外の方々で盛り上がっていて、隣に座っていた方も私には背中を向けた感じでしたので、まぁ、聞いていればいいかと思っていたのですが、前に座っていた方が気を遣ってくださり、私と2人で話をしてくれようとしました。
でも、周りの方は気を遣って下さった方と話したいらしく話を振るので、だんだん私がいることでその方と話ができないのでは…と申し訳なくなってきて、下ネタの話題などで具合も悪くなってきたことから途中で退席させていただきました。(歓迎会ではなく、会費も全額お渡ししてきました)
これから飲み会があっても参加することが嫌なレベルなのですが、皆様はお付き合いと割りきって参加だけされますか？