転職しようか迷っています。

30代前半の派遣社員です。
現在の派遣先で2年ほど営業事務として働いていますが、
人の異動が多く、また仕事のやり方も上司がコロコロ変えるため、
2年働いていてもまったく落ち着きません。
仕事も坂を転がる雪だるまのように増えてとても辛いです。
現在うつ病を患っており、病状が悪化する前に辞めたほうがいいのではと
私は考えていますが、うつの時は仕事を変えないほうがいいという意見も
ネットで見たのでとても悩んでいます。
職場の雰囲気は正直合わないなと感じますが、仕事で多少ミスがあっても
ガミガミ怒られるようなことはありません。
ただ人の入れ替わりが激しいのでとてもストレスを感じています。
職場の環境が変わるのを待つべきか、派遣なのだから環境を変えるべきか
悩んでいます。