職場の人間関係に困っています

私より一回り以上年上の人ばかりいる職場での事です。
昔から協調性がなく浮いた存在になりがちの私は5，6人のチームでそれぞれ同じ仕事を1人ずつやっている場所で働いています。
（分かりにくかったらすみません）
私の仕事のミスが多いのもあるのか、職場でかなり気の強い人に睨まれています。
チームにはリーダーがいるのですが、その人がやっていいって言った事を実践しようとすると、聞こえよがしに怒るんです。
もう何度もやっている事なんですが。
仕事中事あるごとに喋ってるんですが度々聞こえるように悪口を言っているのが聞こえて嫌な気分になります。
私は仕事上の話をするのがやっとなので、味方となってくれる人がいない状態です。対し向こうはほとんどの人と仲がいいのかいろんな人と話をしています。
今まで5日中3日だけでも気が重いのに休みの日を交代するとかで、来週から4日になるらしく憂鬱です。向こうも早速聞こえるように
（新しく出勤する日に）アイツがいるからムカつくとか言ってて頭が痛いです。
毎日その人と顔を合わせる時間が嫌で仕方ないです。

他にＡさんと言う人がいてそちらはまあ普通に話してくれるのですが、面倒くさいことがあると「私さんにやらせればいいじゃん」と
言ってきます。仕事を残らないといけない時も（全員でなくて1人残ればいい時）「あ、私さんがいるからいいよね、帰る！」と強引に帰ってしまいます。
もちろん前述の気の強い人とは仲がいいです。

仕事をやめると言う手段もあるでしょうが出来たら仕事事態は好きなので働きたいのです。
皆さんでしたらどう対応しますか。多分私に問題があると思うのですが（前の職場でも似たような事があったので）客観的にみる事が出来ます。
アドバイスがあったらご教示願えると嬉しいです。