取引先に困ってます。

小さな会社で経理を担当しています。 取引先のひとつに、大変乱暴な言葉遣いをする方がいて、困っています。 その方は取引先の社長の息子で、 こちらは普通に対応しているつもりですが、向こうの要求がちょっと無理で断ったり、相手に満足のいく対応ができなかったりすると 「ふざけないでください」「馬鹿にしないでください」このようなことを非常に乱暴な言い回しで言われています。何かあると「あなたの態度が悪いので取引をやめます」「うちの会社に来てください」ということをやはり乱暴な言い回しでいってきます。 今現在はひたすら「申し訳ございませんでした」と低姿勢で対応してますが、普通、人にここまで言わないだろう、というようなことを言われると正直、非常にへこみます。 はっきり言って、私は口下手だし、機転が利くほうではないので頼りない対応が余計に相手を怒らせてしまうのかもしれませんが・・・ 乱暴な言葉遣いをする相手に対してうまく対処できる方法を知っている方がいましたら教えていただけないでしょうか。