働くのが怖い

タイトル通りです。半年前、辛い事が重なり退職して今は専業主婦で子供はおりません。
失業保険受給していますが、来週末から1日6時間 週4日のパートに出ようと思っているんですが、、半年前の辛さを思い出してしまい働くのが怖いです。心療内科も短期間通ってました。

又私は発達障害です。 理解力が足りなく、人の話を一度では覚える事が先ずできません。
そのせいで今までかなり苦労してきました。
メモを取ったり家で仕事の事をノートにまとめたりしていますが、一度聞いただけで仕事を覚える事が出来ず、前の職場ではとても風当たりが強くて辞めてしまいました。周りは一度ですぐ覚えてすんなりと出来てしまう人達ばかりだったのでとても劣等感がありました。

甘えだとは思っていますが、せっかく決まったパートだけど辞退しようかと後ろ向きになってますが、いつかは働かないといけないので頑張って行こうと思ってます。
なので、気をつける事とかなにかアドバイスあれば教えて下さい。
人間関係も仕事も上手くやっていきたいです。