自分の要求が通らないと口の聞き方が悪いと言われて困っています

仕事上での事で困っています。

N社と委託契約を結び、ある業務をしてもらっています。私はN社との仕事の担当者兼責任者です。N社が自分たちの都合の良い要求ばかりしてくるので、その度にこちらの事情を伝え、要求をのめない事を丁寧に伝えるのですが、要求をのまないと、私の上司にN社の社長がものすごい剣幕で電話をかけてきて、私の口の聞き方、対応が悪いと言ってきます。上司はいきさつも聞かずに謝ってしまい、私が悪いと決めつけます。

N社は要求が受け入れられるまでずっと私を個人攻撃し、権力の圧力を使ってくるので、最後にはこちらが要求をのまざるを得ない状態になってしまいます。

上司からは私が悪いと責められ、N社からの個人攻撃され、いい加減疲れてしまいました。

上司はモラハラ的なところがあり、毎日のように攻められ続けています。

N社の、自分の要求が通らないと話をすり替えて攻撃をしてくるような人に、どう対処してよいのか教えていただけないでしょうか。

ちなみにN社とは複数年契約をしており、N社が契約を続行しないと言わない限り、契約破棄をするためには莫大なお金がかかります。

メンタル的にも限界です。良い知恵をご教示ください。よろしくお願い致します。