嫌なら辞めればいいのに

トピ開いて頂きありがとうございます。

8年程、週１度趣味のスポーツサークルに入っています。
試合で勝利を目指したりせずただ、楽しむ感じです。
私は気分変調症とうつを患っています。友人には誰にも話していません。
なのでサークル内での人間関係や、ミスしたりすると落ち込みがひどく １日寝込んでしまう事もあります。
辞めた方がいいかな、しぱらく休もうと思いましたが、誰からも止められたり 連絡ない事もあり 忘れられるのが怖くて
通っています。
行く時は、毎回無理して行っている感じです。

友人もいなく、サークルだと何人かランチしたりする人がいるので ここを辞めると完全に誰ともつながりがなくなるのが一番怖いかも知れません。
昨日は急にパニックになり、途中で帰ってしまいました。
趣味なのに、なぜこんなに無理するのか？
1人になるのが怖いのか
自分でもどうしたらいいのかわかりません。
そのスポーツの他のサークルに入るというのは、考えていません
友人はいませんが、主人とは仲がよく 1人で楽しめる趣味もあります
辞めてスッキリしたらいいのはわかっていますが、勇気がでません

こんなクヨクヨしている、わがままな私に意見をお願いします。