人間関係から鬱。三年目

トピを開いてくださってありがとうございます。
40代独身女性です。
職場の人間関係から鬱になって三年です。
周囲は男性が圧倒的に多く同じ立場で仕事している女性は私だけで。
鬱になってから周囲の目が気になり、それを払拭しようと無駄口も叩かず仕事だけに集中してきました。
それが最近、病気のせいなのか薬のせいなのか物忘れが酷く、本来の仕事より雑用が多くなってきました。
担当者から直接仕事の指示が出ず、同じ派遣の人から指示がでますが、毎回嫌味を言われたりパワハラを受けます。
昨日まで頼まれてた仕事を朝会社に行くとその人がやってしまっていたり。アルツハイマー？といわれたこともあります。周りの反応も冷たいです。
こんなことなら鬱になった時に医師の勧めるように退職すればよかったと思ってしまいます。
今年に入って半年くらいは鬱状態から解放されて、やっと生きてる実感が湧いてきたのに最近また酷くなってきました。
それに伴い物忘れもより一層酷くなったような気がします。
退職する意思は固まってはいますが、この先が心配です。
歯をくいしばって頑張ってきた努力はなんだったんだろう？
私はどうしたらいいのでしょう？