困ってます

会社の上司（男性）の事ですが、
私には理解不能な方で困っています。
まず、常識的な話を時間をかけて話しますが、何度説明しても最終的にわかってくれません。
また、曖昧な表現も理解しづらい様子。
新しく決めた事を次の週には忘れている事がよくある。
優先順位がつけられず、パニックになることがある。
いつもと違う手順を言ったり、ミスを指摘すると訳の分からない事を言って子供の様に責めてくる。

こんな風に癖のある人なので今までその人の下についた職員は次々辞めていきました。今は私と二人の部署です。

でも、愛想が良くお客さんからはあまり苦情はありません。
基本悪い人ではないとは思いますが、色々責めて来くる時は、私に無理難題を言ってきたりして悪意を感じます。
。
問題を抱えつつ、外ではそれ相応に仕事をしている人ですが、一緒に仕事をしていると、混乱してきて疲れを感じます。
単なる「個性的な人」の枠を超えている気がします。
勉強ばかりしてきて、社会性が身についてない、ミスを指摘される事に慣れてない、優等生だったのかも・・・と職場の一人は言います。
社会性云々は、お客さんへの対応ができているので問題はそれほどないと思います。
私自身はこの仕事を続けたい。
ひたすら混乱しています。なにかアドバイスがあればお願いします。