仕事の邪魔をされています。

私は平成25年から地元の工場の間接部門で仕事をしています。
最初の1年は事務・管理的な仕事は社長のお気に入りの同期に優先的に振られ、私は出荷の現場作業や在庫管理を行いました。

最初は思うように動けず迷惑をかけていましたが、現場を把握ししっかりと動けるようになり現場での仕事を優先的に降られるようになりました。
また、さぼり癖がひどい先輩が数名いるためその人の補助にも回るようなり、その先輩が急にいなくなってもいいように仕事の内容の把握をするなど、自分にできることをやってきました。

1年が過ぎ、同期の1名が本来のサボり癖が目立ってきたため、評価が下がり私がその同期の仕事と現場を兼務するようになりました。上司やトップも応援してくださり、現場から管理的な仕事へシフトする形になりました。

しかし、私が現場から外れたことで猛反発が起こり、現場の仕事を意図的にやらなくなったりわざと不良品を出したりと新しい仕事を邪魔されるようになりました。
私も上司もそれに対して対策を講じていたのですが、結局、現場に屈してしまい1年前と同じ出荷現場に戻るようなりました。今日まで現場と事務を行ったり来たりする生活が始まり、現在は現場にいます。

最近になり私が事務系の仕事を任されるようになりました。
現場には派遣社員を迎え入れ人員的にも充実させてくれました。
ただ、それに現場が不快感をしてしています。上司も現場の言いなりで急な仕事のせいで事務仕事がはかどりませんし、直行直帰の仕事が増えました。

今年の3月で入社2年になるのですが、訳が分かりません。
この先ここにいても同じ気がして、いわゆるスキルというものがつかない気がします。
同期からは「良くここまで耐えてるなぁ・・・、そこまで真面目にやらなくても」と言われます。

このような状況だと転職したほうがいいのでしょうか。
アドバイスをお願い致します。