発注元の会社の担当上司で困っています

初めてトピをたてます。技術的な作業の外注です。 お引き受けしている会社の一つの事なのですが、担当者からの連絡が打ち合わせの度に違う事が続き、水掛け論が 重なりましたので、連絡はメールで送って貰うようお願いし打ち合わせの際には議事録を作成してお送りする等、 改善の工夫を試してきました。 また、返答に困るらしい件はメールを無視される事もありましたで、こういった事が重なってしまうと作業に支障が 出てしまうとお伝えしたところ、彼の上司から苦情のメールが届きました。 内容は「弊社担当に非はなく、あなたの対応は信頼をしていない者の対応である。書面は辛辣であり、悪意がある」と 言った内容が感情に任せて延々と書かれていました。 過去に改善提案をお送りした時も、その上司から同様のメールが送られてきており、その都度余計な時間を取られて 、このままこの会社の仕事をお受けしても精神面での疲労と収入が釣り合わないと考え、契約期間が終了したら お引き受けをお断りしようと決断しました。 そのことをお伝えしたところ、上司から「おたくをずっと使う計画でお金を掛けて来た。ずっと続けたいと最初に聞 いていた。今回で終わるなら最初から計画が違った」と連絡が届きました。 お仕事を受ける前には良い取引先であれば、ずっと続けたいと思っていたのは事実ですが、契約書は作業単位で結んで いましたし、新しい仕事を受ける受けないはこちらの自由だと思っております。彼の計画は知るよしもありません。 これまでのやり取りから外注＝格下と考えていて、格下からやり方を否定されたのが不愉快なのでは？と想像しています。 こういう人物には今後どう対応したら良いのでしょうか、皆さんのご意見をお聞かせ願えればと思います。 また、ちょっと質問から外れますが、相談を代表に直接連絡するのは失礼なのでしょうか。 よろしくお願いします。