職場での人間関係について

私は施設で働く介護職員です。
職場の職員はプライベートで仲良い職員が多いのですが、食事に行くとプライベートの話もするみたいですが大半は共通の話題の仕事の話や愚痴や気に入らない同僚の悪口になっているそうです。
私は参加していないのですが、その食事会に参加する人数がどんどん増えていき、職場の空気も食事会に参加しない人は協調性がないような扱いを受け、浮いた存在です。
なぜ、私が食事会に不参加なのに食事会で話されている内容が愚痴や悪口と分かるかと言いますと仲良し職員が夜勤や用事でたまたま食事会に参加出来ないと食事会に参加した職員が申し送りの感じで内容を伝えており、それがこちらに漏れてくる（聞こえてくる）んです。
でも、悪口には参加したくはないし、職場で浮存在も嫌だなと思います。
嫌われたくないという訳ではなく、介護や看護の仕事の話や介護論等で勉強になる話もしていたり、ある程度、自分に必要な情報（勉強になる内容）は知りたいので、参加した方が良いのかな？とは思うのですが、参加されていない方に悪口を言っている仲間だと思われたくもありません。
どうして良いのか悩みます。