お疲れ様の挨拶

電話対応できになる事があります。取引先に電話をすると、以前は「お世話になります」と言う言葉から電話でのやり取りが始まっていましたが、最近、取引先の担当者が変わったと言う事もあり「お疲れ様です」と言われるようになりました。お疲れ様ですと言う言葉は確かに電話での話始めにはいい事かもしれませんが、関係会社や自分の職場の人に使う言葉ではないのかなと思います。
相手の方の認識が関係会社と認識しているのか馴れ馴れしく話しているのか分かりませんが、どうしても気になります。私もこのぐらいの事で気にしているので、器が小さいのかもしれませんが、取引先に対して適切な言葉なのでしょうか。この相手の方と電話でやり取りする事が今の私には苦痛です。
アドバイスお願いします。