事務所の４人としか接しない仕事がストレス

先週「採用されたものの適応障害になった」というトピをたてた者ですが、少し違った面から小町の皆様のアドバイスをいただきたく思います。
　　
　自分が適応障害になった原因の一つは、仕事での人との関わり方です。

　前職は派遣でしたが、６人のチームで経理をしており連絡事項や仕事の進め方などで業務上の会話はチーム内で頻繁にありました。また大きな会社の本部だったので他部署とのやりとりや交渉・訪問、取引先との電話での問い合わせなどで不特定多数の人と関わりながらの仕事でした。

　今は正社員という身分ですが自分以外は男性４人の小さな会社なので、支店とのやりとりもなく、会社の業種の性質上私が取引先と電話でやり取りすることもありません（電話に出ても取り次ぎのみ）。
　お客様が頻繁に来るわけでもなく、社内の４人以外と仕事で関わることがありません。
　前職とのあまりのギャップに人間関係での閉塞感があり、精神的に不安定になって発作的に恐怖を感じてしまったりします。（外部との接触が閉ざされてしまったような感じ）

　しかしせっかく採用された職場なので、自分の心の持ちようを変えることでなんとか退職せずに続けることができればベストと思っています。（男性４人はいい人で、社内の人間関係の問題はありません）
　
　そこで、同じような境遇にいらっしゃる方に伺いたいのですが、最初はストレスでもそのうち慣れるものでしょうか？
　たとえば習い事や趣味の活動などで積極的に人と関わるようなことをすれば、何とかなるものでしょうか？