派遣先に面倒な派遣社員がいる

派遣先の同じく派遣社員の40代女性が面倒な人です。 私は他人とコミュニケーションを取ることが苦手で人と壁を作ってしまい、この派遣の女性はそんな私のことが気に入らないらしく陰で悪口を言っているのも知っています。 しかし先日、この女性と私と男性の派遣3人で残業をしていて、焼肉の話になりました。 この女性が残業をしている2時間ずーっと男性に、「ねーえー！焼肉の話してたら食べたくなったー！あなたの車で私とちのちゃんを連れて行って〜」駄々こねていました。 男性は、資格の試験があるからそれが終わったらだな〜と言ってて、それいつなの？先の話じゃん！私は今行きたいの！！と延々とそんなやりとりをしていました。 そしたら翌日その男性が、じゃあ来週の金曜日3人で行こうぜ！！と言い出し、 その女性も、マジで言ってんの？本気で行くの？と言うし 私は行きたくないです。 それでその女性の提案でその場にいなかった別の派遣女性も誘って4人で行くことになりました。 陰で散々私の悪口を言っているのに巻き込まれてしまい、私なんかが行っていいのか悩んでます。 その日は用事があるからと断るべきだったのでしょうか。