どのように対応したら良かったのでしょうか

30代女性です。
友人の旅行参加希望を断りました。
4月頃、学生時代のグループ旅行を計画しました。グループは4人(女性2人男性2人)内2名は夫婦です。
今回は上記4人で食事をした際に決まりました。
ご主人の発案で他に友人を3人誘う事になりましたが内2名は仕事がどうしても休めなくて辞退。もう1名は夜勤明け。一昨日夜勤明けの連絡が来ました。4月の時点で日程を伝えていましたが、休日申請などはしていないそうです。絶対参加する！何もなければ朝9時に終わるから！と。集合場所は友人の職場から1時間以上離れた場所の上、集合時間は朝8時。宿泊場所は車で3時間半。時間がずらせないイベント参加などスケジュールもあるし現地集合でなら…と提案し友人も納得。昨夜現地11時着の電車で行くと言う連絡が来ました。どう考えても乗れない時間帯で宿泊する最寄りの駅ではその時間前後に到着する便はありません。グループの友人が呆れて参加の気持ちは嬉しいが明けで疲れているだろうし、こちらも気を遣いながらだと疲れてしまうので今回は遠慮していただきたいと話をしました。私が明けの時点で断っておけば良かったのですが…よろしくお願い致します。