雑談になかなか入れません

地方都市の公務員です。 うちの部署は窓口の市民対応が業務の多くを占めます。忙しくない時は忙しいけれど、暇なときはとことん暇。おのずと雑談が多くなります。 雑談に加わろうとは思うのですが、タイトルにある通り、なかなか加われません。というのも、雑談の内容が殆ど悪口や批判なのです。 悪口の定番、いない人の悪口から、他部署・他市の批判などに始まり、ひどい時は対応した市民の悪口にまで及びます。（容姿と名前を挙げて「お笑い芸人の△△みたいな顔で○○（可愛らしい名前）はないよねー。」とか…） 人の感性はそれぞれですし、私も全く悪口を言わないわけでもないので、それで盛り上がる事についてはとやかく言いません。ただ、個人的にそういった話題が苦手なためポジティブな話題に切り替わったら会話に入ろう、入ろう、と待ち構えていても一度もポジティブに逸れる事なく（雑談に入れず）1日が終わります。 同僚が嫌いではないので、馴染めるように雑談に加わりたいのですが、話題の選り好みはせず参加するしかないのでしょうか。うまく立ち回ってる方、お知恵を拝借させてください。