仕事場の雰囲気にもよるかな。
トピ主の文章だけ読むと、ハブかれそうな感じしないです。

ただ、楽しい話で笑うのは良いけど、その笑い声は浮いてないですよね？

仕事場ではないけど、笑う空気じゃない所で笑ってた残念な人がいて、周りから失笑されていたので。

トピ主さんは、悪口や陰口で盛り上がらないからハブられるつまはじきにされている、と考えているみたいですが、多分、それは外れています。
文章を読んだ感想ですが、悪口陰口関係なく距離を置かれちゃうタイプだなこの人は、って感じです。

お気持ちよくわかります。わたしは派遣で一人で女性の多い職場を販売でまわる
仕事をしていました。お店の人間ではないし、こちらは一人だし、根も葉もない噂(悪質でした)を流されつらかったです。ベテラン(悪いタイプ）の販売員になるとお店のドンみたいな女性にとりいり噂話など加担して生き抜いていけるようです。わたしも噂話など興味なく挨拶だけきっちとして自分の商品売ってればいつかあきらめて噂もされないだろうとがんばりましたがやはり女性の多い職場だと一人では無理ですね(孤立しました)…頷くくらいだと人の噂するくらいだからものたりないリアクションなんでしょうね…ほんと気持ち悪いですね…仮にあわせて悪口いったとしても嫌な気分になるし、噂話を好んで話すくらいの方だからあの人がああいってたなんていいかねないですしほんと女性の職場はむずかしいです。てきとうにあわせて聞き流しさからわない。（女優になるしかない)職場から一歩でたら面倒くせーやつらーとリセットする。あなたをとりもどしてください
がんばって

あんまり気にしないでいいのでは？周りは自分が思うほど、気にしてないと思います。
私も仕事以外の話にはあまり交わらず、淡々と仕事しています。多分、ノリ悪いなぁくらいに思われてるんじゃないですか。
雑談は意外と大事らしいので、もし、心理的にも仲間に加わりたいのなら、陰口が嫌いでも、「努力」して入らないとだめなんではないですか？
私はわがままなので、入りませんが…。