私は時間も約束も守りたいのに・・・

主人の実家に日曜日の午後行く約束をしていました。約束したのは主人です。 なので、日曜日１１時３０分ごろ昼食を食べ終わって大急ぎで支度をしていました（主人の実家は徒歩３分の距離）。 が、主人が「今から○島屋に服を見に行きたい」と言うので、「午後に約束したんでしょ？もうきっと待ってるよ」と答えると主人「午後って言ってあるんだから、午後の間ならいつ行ってもかまわない。買い物に行くかもしれないし行かないかもしれないから『午後行く』としか言ってない」 私「買い物に行くかもしれないのなら、なぜそれを見越して時間を指定しないのか？」 主人「時間を指定しても、間に合わないかもしれない。遅刻したらと責められる。喧嘩を避けるために『午後』としか指定しない。これは俺なりの気の使い方。」 私「いつ来るかわからない相手を待つためだけに在宅せざるを得ないのは苦痛だと思う。あなたが来るからわざわざ時間を作ってくれているのに失礼ではないか？」 主人「どこが？わざわざ時間を指定しておいて遅れる方がよほど失礼だ」 私「じゃあ、あなたはいつ来るかわからない相手を待ちつのは苦にならないの？」 主人「別に。家で寝てればいいし。」 結局日曜日は買い物をあきらめてもらい義実家に行きました。 が、「お前のせいで服を買えなかった」とブツブツ。まるで私が悪いかのように責められ続けています。 主人は時間にルーズです。過去にも同様に「午後行く」と約束して１６時ごろ義実家に行ったこともありますが、その時も「待ってたのに！」「午後行くと行っただけで何時に行くとは言ってないだろ！」と喧嘩になりました。義両親以外に対しても同様で、そのたびに恥ずかしく申し訳ない気持ちでいっぱいになります。 どうしたら主人のような時間にルーズな人に時間を守らせ、ストレスなく生活できるのでしょうか？アドバイスお願いします。