休職してから仕事が怖くなりました。

5年前にパワハラにあって以来、精神安定剤を飲みながらなんとか仕事をこなしてきました。 最近徐々に眠れなくなり、受診した際、「適応障害」と診断され、1ヶ月休職しました。 休職中は同僚が仕事をカバーしてくれたらしく、大変感謝しています。 しかし、休職してしまったことで、今まで踏ん張っていたもの、心の中にため込んでいたものが崩れていくような感覚になっています。 現在復職して2週間が経ちましたが、職場に行くのが以前よりも怖くなっています。「落ちこぼれ、ダメな奴」と言われているような気がして、仕事に集中できなくなっています。 また、今月は残業をせずに帰っていることもあり、同僚に対して申し訳ない気持ちでいっぱいです。 正直、仕事に集中できないのなら辞めたほうが良いのではないかと考えてしまいます。 考えすぎだとは思いますが、みなさんのご意見をいただけると幸いです。