人と距離を置いた方がいい？

はじめまして。40歳2人の子持ち兼業主婦の夕凪といいます。

誰にも相談できず悩んでいるのでお願いします。

昔から人間関係が苦手で（母親が怖くて顔色うかがって生活していたのが原因かもしれません）
うつで通院歴もありですが、どの薬も体質的にあわず今はカウンセリングのみに通っています。
そこで不安障害だといわれました。

子どもがスポ少を10年続けていて 週末はテームの母親達といます。
体調悪いのを伝え、今は出来る時に参加してます。
趣味で私もスポーツしてるのですが、そこでの人間関係もつらく
大好きな運動も楽しめなくなってます。
職場もみんな仲良くしてるのですが、しんどいです。

普段仲良くする、連絡取り合う友人はなく、その場ではみんなと仲良くでき 友達多そうとも言われます。

言った言われた事が異常に気になり、自分がどう思われてるか不安になるのでどこにいっても楽しめず疲れます。
この性格なのに、人との繋がりが欲しくて無理して付き合いを求めてしまいます。

これだけ苦しいなら、人と関わりを減らして1人で気楽に過ごした方がいいでしょうか？
でも、寂しい気持ちもなくなりません。
家族仲はいいのですが、主人が単身赴任で月1回しか会えません。

この先どうすればいいでしょうか？
ご意見頂けるとうれしいです。