取引先の男性が苦手です。

愚痴になります。アドバイスお願いします。
会社の取引先（と言いますか、会社の代理店のような立場）の男性Aさん（40代半）が嫌で仕方ありません。
私はAさんの業務の担当です。（事務処理など）
Aさんの業務は他の同じ仕事よりかなり手間がかかり、何よりAさんの性格が神経質、嫌味、図々しい等々なのでとても疲れます…。

少しでも自分の気に入らない対応をされると（メールの返信が遅い、電話の折り返しが遅いなど）不機嫌になる、私の仕事への説教、嫌味満載の感情的なメールをよこします。
プライドが高く、自分を後回しにされるのが大嫌いです。
小さなミスにもネチネチ言ってくるので（ミス自体はいけないことですが）気が抜けません。
Aさん以外の業務もたくさん抱えた中で、Aさんを最優先に仕事をする訳にはいかない状態です。

個人的に食事に誘われたり、携帯のアドレスを聞かれたり、正直Aさんに対しては嫌悪感しかありません。（今のところ、軽く受け流してますが）
最近Aさんが離婚したらしく、ますます精神面の不安定さが出てきており（感情の起伏が激しく、怒りの沸点が低い）、これ以上関わりたくないのが本音です。
ただ、Aさんの業務を他にできる人がいない、会社としても今Aさんを切るわけにいかない状態です。
上司に相談してもあまり状況が変わりそうにありません。最悪会社を辞めることも考えています。
それともAさんのような人はどこにでもいるのでしょうか？（社内にいても、取引先の相手でここまでの人は今までいませんでした…）