退職を考えています

私は精神障害を持っていて今障害者雇用で1年働いているのですが、去年と比べて障害に理解のある方が退職し、頼りにしていた社員が他に相談できる人が理解の無い人なので追われるよう退職したのと、そのストレスで長期休養している社員を含めて半分になりました。

人が少なくなって負担が増えて、人間関係も悪くなってしまいみんな孤立しています。残っている責任者は1人なのですが忙しくなってしまい相談は出来なくなりました。
会社訪問に来る応募者が来ますが今の雰囲気なので人が来ません。なぜ人が来ないのか会社はわからないようです。
休みも土日のみで祝日は仕事なので休みも少ないです。

障害者5人以上で配置しなければならない相談員も配置していないし、長期休養の社員も休職扱いにはしません。就労センターに相談もしていないようです。
ある意味障害者扱いしていないのかもしれませんが・・・・。ちょっと違うような気がします。

他の社員が言っていたのですが「正社員にする気はないらしい、評価もほぼしない」と聞き、このまま無理して頑張る必要があるのかわからなくなってしまってここ数カ月前から悩み続け、最近は半休を取ったり、従来の通院以外でも通院するようになってしまい、仕事も頑張っても評価してもらえないなら真面目にやっても疲れるだけかな？と考えるようになりました。

当面のお金はありますが仕事は決まっていないし、引きこもって悪化したらと思う反面、もうあの空間にいたくない気持ちも強く悩んでいます。

障害者雇用を利用された方がいたら聞きたいのですが、上記の感じなら退職したほうが良いのでしょうか？それとも些細なことだから残ったほうが良いと思いますか？
障害者に対して理解がある方のアドバイスがいただければと思います。