人のうわさ話って楽しい？

最近、仲良くなったグループがあります。私を含めみんなアラフォー世代で、ある勉強を通した仲間です。できればこれから仲よくしていきたいと思っているのですが、人のうわさ話や、軽い悪口が多く、困っています。

内容としては、その場にいない人に対して、あの人は結婚しているとか、あの人の仕事は何だとかいううわさ話に加えて、「Aさんの話し方ってなんかつんけんしてるよね～」とか「Bさんとは友達になれないわ～」とかいった類のものです。
わたしはそうした話には同意したくはないので、黙って聞いていますが、できれば話題を変えています。

この前は、「miuさんはどう思う？」なんて言われて、返答に困ってしまいました。
グループの雰囲気を壊すことなく、そうした話を避けるにはどうしたらいいでしょうか。

人のうわさ話が好きな人って、グループの中にそうしたうわさ話に反応の鈍い人がいる場合、「何この人？」って思うものでしょうか。
なんだかそのグループに少し居心地の悪さを感じてきています。まだ日の浅いうちに自然に抜けようか、それとも、うまく対処していけば、新たないい関係が築けるのか、とも思うのです。今はどうしようかと思案中です。