イライラしてしまう私。退職したほうがいいのか…

20代後半、正社員OLです。職場の30後半の同僚とうまくいきません。

彼は私の半年後に入社。初めは別部署に配属されていましたが、成績があまりに悪いこと、同僚達の彼への不満が爆発したことで、人員不足だった私の部署に、一年半前に異動してきました。

彼には、以下のクセがあります。

・人の話を最後まで聞かず、割って入り、独自の持論を展開
・考え方が根本から間違っていることが多々ある
・周囲の人間と円滑なコミュニケーションができない
・自分のミスはごまかす。数百万単位の損害を出しても。

↑上記のことから、社内でも仕事で関わったことのある人は、彼のことを良く言いません。私も時間をかけてじょじょに、彼を信用できなくなっていきました。
私が悪いのか？と思いましたが、私の上司（課長・部長）もそろって彼の欠点を認め、私が悪いのではないとフォローして下さっていますが…。

私は仕事は責任をもってまっとうしたく、神経質な性格でもあります。ですので彼とはぶつかることが多くなり、周囲の方にも「また喧嘩してる」と思われる、恥ずかしい状態になってしまっています。

しかし、その「ぶつかりあい」をしている原因を上司に相談すると、いつも必ず、上司も私と同意見なのです。

キャリアアップしたくて頑張っていた仕事だけど、深い事情を知らない同僚達には「sutekiさんってイライラしてて恐い、彼が可哀相」という空気があるような気がして、退職したほうがいいのか…と思ってしまいます。彼が妙に頑固なため、こちらも自然と口調がきつくなるのです。

私も楽しく仕事がしたいけど、楽しいだけじゃ正しい仕事ができない。本当に「よくあること」だとは思うのですが、「周囲に悪く思われていてもやっていく方法」「自分のなかで折り合いをつける方法」ってありますか？