約束について

昔の職場での知り合いで頻繁に連絡をとり仲良くしていた人なのですが、旅行の土産を渡したいので近々会えないかという連絡がきました。 じゃあついでにもしよかったら久しぶりにごはんでもという話をして、1週間後に相手側の家の近くのショッピングモールで約束をしました。 その後、連絡が止まり、前日になっても詳細の連絡がなかったので…どうしたもんかなと思い、当日に今日何時にする？と聞くと、私は駅でその後用事があるので、その周辺にいたいし時間もないのでどっかお茶でも簡単に飲みませんかと言われました。 私の家からは駅までも1時間以上かかり、駐車場もなく行きづらいですし、正直それだけのために足を運ぶのもと思ってしまい、何よりすごくついで感を感じたので嫌になってしまい、こっちにも都合があるのでと言って断り、またの機会にと言いました。 次の予定があるならその時言ってほしいですし…もやもやしてしまい、連絡しなかったことなどについての謝罪のメッセージもくれたのですが返さずにいます。 当日まで連絡しなかった私も悪いのですが…少し残念な気持ちもあり今は連絡したくありません。私はどうしたらよかったのでしょうか？