人の話し声に対する指向性がつよく、ずっと人の話し声がしていると酷く疲れます。
なにが自分を疲弊させるかといえば、話し声すなわち音そのものよりも、話し声に含まれる気分や感情のほうなので、意識的に言葉を言葉どおりに受け取るようにしています。

事務職だったので、事務処理をしながら電話応対をし、他の人の電話の受け答えや事務所内での社員同士のやりとりを聞きながら、いまどういう状況なのかはあるていど察知していました。
いずれも通常業務の範疇であり、話し声に含まれる感情を細やかに聞き取る必要がなかったので、その時々で優先順位をつけ、注意力を振り分け、切り替えることが可能でした。
それでも疲れましたが。

いまは、総合病院の会計ロビーがとてもしんどい。
その病院では、番号ではなく姓で、それも親の付き添いのため旧姓で呼ばれて反応しなければならず、待っている人達の話し声が途切れず、会計カウンターでのやり取りも聞こえる中で、自分に関係する声を聞きわけたらすぐ行動に移れるよう長時間「待機状態」でいなければならないからです。

集中してしまうと、人から名前を呼ばれても気づかない人もいます。
もしかしたらトピ主さんは、本来集中すると雑音が一切聞こえなくなる性質であるために、おなじ場所にいる人をぞんざいにすまいと意識しすぎて、話し声のほうに注意を払う癖がついてしまっているのでは？
そうだとすればむしろ、電話なら電話に、書類なら書類に集中してしまったほうがいいのではないでしょうか。
それが仕事をするうえでいちばん重要なことで、雑談なんて二の次、三の次でいいじゃありませんか。

長年しみついてしまった癖をぬくのは難しいかもしれませんが、自分がどのような性質で、行動にどのような傾向があるのか、あらためて省みることで、なにかみえてくるかもしれません。

カクテルパーティのように賑やかな場所で自分に必要なことのみを聞き取ることをカクテルパーティ効果と言います。
トピ主さんはこの能力が弱いのでしょう。

詳しくは検索してください。