転職先で嫌われて困っています。退職すべき？

今年の春に転職して働いています。
転職先の部署は女性がほとんどで、一見和気藹々とした仲良しな部署です。
しかし何がいけなかったのか、リーダー的存在の方に嫌われたようで仕事では重箱の隅をつつかれて厳しく叱咤を受け、
同じ部署の人たちに陰口を言われています（コソコソ声で話されていますがせまい部屋なので聞こえてきます）。その影響か他の人からも余所余所しい態度を取られ参っています。
唯一幸いだったのは同期の人の存在と、その人と気があうことですが、同期の人は私と違いリーダー的存在の方から気に入られており、対応の差に辛さが募る日々です。
また、リーダー的な人だけではなく、仕事上全く接点のない他部署の方から陰口を言われているようです。
今日も社内食堂で昼食をとっていたらこちらを見てニヤニヤヒソヒソ話されていました。同期の人も視線に気づいていたので気のせいではないと思います。挨拶してもろくに返してもらえません。
私は元来あまり人に興味がなく、嫌いな人も好きな人もあまりいない方なのでこのように関わりもないのに人を嫌える方が理解できません。
同じ部署のリーダー的な女性も、他部署の女性も、サバサバ、言いたいことをズバズバ言うようなタイプです。
私はよく大人しくおっとりマイペースといわれるタイプです。悪く言えばトロそうに見られているのではないかと思います。
今回のように転職してすぐに複数人から嫌われ攻撃を受けるようなことは初めてで、いっそ退職してしまおうか…と悩んでいるのですが、こういう人たちはどこにでもいるものなのでしょうか？
こういう人たちから攻撃を受けていたけどしばらく我慢したら好転した、我慢したらますます攻撃がひどくなった、こういった行動がきっかけで関係が良くなった、など体験談や、こういう方が少ない職種をご存知の方、他アドバイスなどあればなんでもいいのでレスくだされば嬉しいです。