夫の旅費交通費、生活費から負担すべきでしょうか

お目にとめていただきありがとうございます。

50代女性在宅で自由が利く仕事をしています。
夫が長期出張で、観光地近くに滞在しています（自宅から600ｋｍの距離）。
出張の最後の2日間に夫の希望で私、娘（社会人、夫の滞在地から120ｋｍの場所に一人暮らし）と現地で合流することになりました。

1日目私は娘の近くのホテルに前泊。
2日目娘と共に観光を挟みながら夫の滞在地へ移動。夕食時に夫合流。娘とホテル宿泊。夫は滞在中のホテル宿泊。
3日目私と娘、半日観光し、自宅へ帰る。夫は出張先から車※で自宅へ帰る。
※車は仕事先（＝雇い主）の人所有。雇い主と交代で運転して帰る（積荷、荷下ろし共）。

以上が予定でしたが、間際になって夫が2日目のホテル滞在からの行程に合流し、そのまま自宅へ帰宅したいと言い出しました。

この場合の宿泊費と自宅への交通費は生活費から負担すべきでしょうか？
夫は生活費から家族の旅行費として出してほしいという考えです。

雇い主が一人で運転して帰ることに合意した上で合流するなら可、ただし合流してからの旅費交通費は自腹で。とメッセージを送ると気分を害したようで、その後の返信がありません。

私はそもそも長期出張の最後の日の仕事を放り出して合流しようとする夫の考えに納得できません。
長距離を交代で運転して帰るのは仕事の一環であり、義務だと思っています。
もちろん長期出張中の途中休みでの家族旅行でしたら家族の旅行費として出すのが当然だという認識です。

費用はどちらが負担するべきか、私の考えは間違っているのか、禍根を残さない次のメッセージはどういう内容がいいか（私は平素からぶっきらぼうで思いやりが足りないと自覚しています）、みなさまのお考えアドバイスを頂けたらと思います。