職場になかなか馴染めません。

新卒で今の職場に入り、３年経つ者です。
入社当初から周りは年配の方ばかりでした。女性だけの職場で人数も少ないです。
話す話題もこれといってなく、仕事の話しかしません。
私以外の方は縁故採用でみんな仲が良く、よく談笑しています。
その中にずっと一人でぽつんとしているのは本当に辛かったです。
理不尽な事をする先輩に反抗してしまった事もあり、先輩方からは気に入られていないようです。いじわるな発言や態度を取られた事も何度かあります。
後から中途で入った、私より年上の人はすぐに馴染んでいました。
後輩も出来たのですが、自分とは合わないタイプの子です。
「職場に嫌な人は必ず一人はいる」とよく聞いていましたが、私は殆ど全員が嫌いだし、嫌われていると思います。
３年も経つのに馴染めなくて、毎日息が詰まりそうです。
職場に楽しさを求めてはいけないのかもしれませんが、一人も気軽に話せる相手がいなくて疲れてしまいました。仕事にも支障をきたしています。
勤務形態・仕事内容などは、わりと気に入っているので、辞めるという決断に踏み切れません。辞めた方がいいのか、続けるべきなのか悩んでいます。