引きこもりから精神不安定に。

引きこもり支援について質問です。 私は元々対人関係が苦手で、常に悩んでました。 しかし寝込んだりすることはないし、学校はいじめにあっても通ってました。 学校を卒業してバイトの面接を沢山受けたりしましたが全く受からず引きこもりになりました。 ４年たった今、知り合いに勧められた引きこもり支援に２か月前から通い始めたんですが(グループワークしたり。週に二日でだいたい一回一時間くらいです)向こうから話かけてこないし、こちらから話かけても反応薄いし、正直あまり面白くありません。 後そこに通うようになってからか、異常なほどに気分が不安定になり嫌な気持ちになり体調も崩したりしたので、初めて心療内科に通院するようになりました。 先生には行っても行かなくてもどちらでもいいと言われたんですが....... これって人に慣れてないからこうなったのか、面白くないから体調崩したのかがわかりません。 これからどうしていけばいいのかわからなくて．．． 経験談やアドバイスあればお願いします。