職場の人間関係に悩んでいます

自分がしっかりとした気持ちでいれば良いのですが、自分に自信がない分モヤモヤした気持ちが抜けず、気持ちを吐かせて下さい。喝を入れてください。事務所内での事です。
自分がそう思わないCさんの事の悪口を言うＡ、Bさんに同意する気持ちにはなれず、席を外したり仕事をするふりをしてその内容に参加しない態度をとったら、ワザとコソコソ話をしたり自分に対しても態度が変わりました。自分がその態度をしたからの結果だと分かっています。
最近、とある有志での飲み会が二回あり、Ａさん（そのメンバーが嫌いだから不参加）Bさん（元々飲み会には参加しない）自分は参加をしました。自分が中々他の人と話す機会が普段ない（業務内容がら）、折角誘ってもらったので参加しようと。
１回目は私から他の女性（ＡBさん以外にも数人います）にも声掛けをしました。
２回目は新しく入った人（女性）が参加するけど、女性が一人は嫌だから参加して貰えたらというので、参加することに。
１回目に話しをした時に「この会に参加する事はないだろうなあ」と言われたので、２回目は飲み会がある事と自分と新しく入った人が女性では参加するという話はＡBさんにしました。
自分は、良い内容の話はしようと思うのですが、混みいった話はその場の中での話だし、ましてや良いように思ってない人の話を自分は何気になく話したつもりが悪く受けとられるのは嫌なので、自分からはあれやこれや話しをしなかったら、それもＡBさんには気に食わないのでしょう。２回目の飲み会のある当日、Bさんに
「今日の飲み会、皆んな知ってるよって〇〇さんに言っといて～」と言われ、仕事が終わり、帰り際に（飲み会に参加する人やしない人もいた中で）「今日は定時なんだね～、何でなんだろうね～、肉でも食べに行くんかな～（肉屋に行く飲み会だった）」と言うBさん。
正しいだけでは難しいというのは分かるのですが…。