ストレス？それとも性格？――休職の決断に悩んでいます

30代会社員です。苦手な上司の下で3年間仕事をしています。以前から上司としゃべると動悸がするなどの症状がありましたが、最近は上司が視界に入ったり声を聞くだけで緊張したりイライラします。上司は仕事中、しょっちゅう他の人としゃべっている人なので、上司の声を聞き続けて四六時中緊張感があります。

この「緊張感・イライラ感」というのが、実際に上司の声が聞こえる前から「また無駄話を始めるに違いない」という感じなのです。実は思春期にも同じような緊張・不安を感じたことがあって、カウンセリングを受けていました。

となると、私の症状は上司と合わないというよりも私の性格によるところが大きいのかもしれません。もっとも、私の課は一昨年、去年と毎年休職者を出していて、どちらも理由はこの上司です。

今は精神科に通っていて、弱い抗不安薬を飲んでいます（抗鬱薬は合わないので飲めません）。主治医は抑うつ状態が長引いているので思い切って休職したほうがいいと言いますが、私の性格的な部分にはあまり言及しません。一方、セラピストは（病院とは別のところです）、性格に起因する神経症的な抑うつ状態と考えて、休職ではなく神経症の克服を考えたほうがいいと言います。

仕事は面白いし、上司からいじめられているわけでもない。ただ上司の声が気になるというだけで休職するのはおかしいのではないか。セラピストの言うように自分を変える訓練をすべきではないのか。しかし、この上司に対して苦手意識を感じる人は毎年いて、現に私も調子を崩しているわけだし…

こんな感じで思考が堂々巡りしています。どなたかアドバイスをお願いします。