人付き合いが怖いです

30代子無し既婚、女です。

四年間働いたパート先を、不安障害の為に去年辞めました。
前職は接客業でしたが、カスハラ…とまではいきませんが神経質だったり細かすぎる、要求が多すぎるお客さんが多かったです。

無理難題も多く、私はきっぱり断るのですが、店長が良いカッコしい(押しに弱い？)ため、最終的にはゴネに負けて特別にサービスをしてあげたり許してしまうため、逆に私がお客さんから融通の効かない店員扱いをされる事が何度かありました。
そのような事が続いたからか、後からクレーム入れられないか、私の判断は正しかったのかどんどん自信が持てなくなり、家にいても自分の担当した業務の事ばかり考えて落ち着かず、不安障害になってしまったためそのパートを辞めました。

それから一年ほど経ちましたが、前職のトラウマと言うか、人と接することがとにかく嫌になってしまい、無職のままです。
何かしら働くとしても責任を負うことがとても怖く、働いたほうが良いのですが踏み出すことができません。後からクレームが来ないか不安です。

家族や長い付き合いの友人以外とは関わりたくなく、下手に出れば付け上がられるかも、対等に接すれば生意気と思われるかも、今の対応は失礼だったかも…と、後から不安になり、人からどう思われてしまったかが怖いです。

今は投薬治療とカウンセリングを受けていますが、いまいち効果は無いんじゃないかと感じています。

同じ様に人嫌い、人が苦手、無理になってしまった方はどの様に克服していったのか、また人付き合いの心得やスタンスなどがあれば知りたいです。