上司から言われた言葉が引っ掛かって仕方ありません

トピを開いてくださりありがとうございます。
２９歳男（既婚）、現在の会社に転職して４年になります。上司からの言葉を含め人間関係に悩んでいます。
転職１年後に２人の先輩と接しづらく感じました。
一人は客先と喧嘩が絶えず伝達漏れや業務の放置などの対応に苦慮し、
もう一人とは、部署の中で大声で怒鳴る、挨拶や日常会話は無視、気に入らないと机を蹴るなどの行為が目に余り、直属の上司に報告・相談するなどしてきました。
１年経っても状況は悪化するばかりでしたので社内の相談窓口に訴え、２人の先輩は他部署へ異動となりました。

そして、その先輩と入れ替わりに転職してきたＡさんもまた、
上司のいないところでは、自分の仕事ではないとキレ出したりメールやメモは無視、他人の作成資料をあたかも自分が作成したかのように上書きするということがありました。
上司からは何でも報告するようにと言われていましたので、今回もまた報告しました。

そこで上司から言われた言葉は
『そんなことは現場で勝手に解決してほしい。家族や友達は言ってくれないだろうが君は話が長い。客先と話す電話も長くて注意しようと思っていた。そういうところにＡさんもイラついたのでは？だから私が言ってやった』
の、ようなことを言われました。

確かに、自分は話が下手であり、一生懸命伝えたいあまりくどくなるところを自覚していました。しかし家族や友人を持ち出すなどは何だか、自分の個人的なところまで否定されているようで気持ちが穏やかではありません。上司にこれまで報告や相談をしてきたことも、自分自身も相手に訴えるなど改善に務め、それでも叶わなかったために報告せざるを得なかったことです。。

自分のいたらぬところは直すよう努めていこうと思いますが、上司の言葉が引っ掛かって仕方ありません。どうすればよいでしょうか。