取引先との困ったやり取り

私はフリーランスのお仕事をしています。
イラストを描く仕事が大半なのですが、その中でも最近つらかった仕事があって…。

ある依頼主の方(Aさん)が私のイラストを大変気に入ったということで長期の仕事の依頼がきたんです。
一番初めの仕事はとても順調だったので、多分私のことを安心して任せられる人だと認識いただいたのか2回目以降は担当の方が変わりました。
担当が変更するという連絡の際、新しい担当の方(Bさん)からご連絡いただいたのですが、話しぶりはとてもマジメな方で信用できそうだなと思い承諾いたしました。

しかし担当変更後、1回目の制作物の受け渡しの際、なんというかBさんはよく横文字を使われる方で言っていることは(私だから)分かるのですが違和感を感じました。(アジェンダ・セグメントなどの横文字)
その制作物は修正の返しがあったので再度修正したものを渡すと渡したデータを切り貼りし、その上に他者の作成データからも切り貼りしたコラージュのような画像を修正願いとしてだされました。

全く別のデザインになっていたことや追加のパーツが増えたり、はじめの修正でなくなったものが「やっぱり足してほしい」と言っていることもあったので「とりあえず描いてみて」という危険を感じたため、とりあえず今回いただいたお返事のデザインで描きますが今後のデザイン変更は別で報酬をいただきますといいました。

案の定Bさんは、なんで？という様子でしたが、デザイン1つの報酬でデザインいくつも描かされては困るのです…。(理由も其方都合ですし…)

それにBさんは修正の返しが遅く納期が…と催促すると納期を延ばすから大丈夫と言われたのですが納期が延びるのは「お互い」大変ではないだろうかと思ったり散々でした。

結果としてまた次も頼むね！という感じだったのですが正直担当の方を戻して欲しいです。
戻して欲しいと言うべきなのでしょうか。