後になってから言うな（半分愚痴です）

こんにちは。
主人と一才の娘がいます。

先日、5月に新居が出来上がるのでホームセンターへカーテンを見に行く事になりました。
新居は主人の実家の近くにあり、その日は
新居を見に行く→実家に寄る(渡すものがあったので）→カーテン
の予定でした。
主人が早く行きたいと言うので、昼寝中の娘を起こして家を出ました（車で15分程度)。
実家に着いてからなかなか主人は家をでようとしません。
そうしている間に主人の祖父とテレビの話になり、
主人が祖父に今から家電量販店に行こうと誘ったのです。
そしてその後、私に行ってきてもいいかと聞いてきたので、
了承しました。
そして帰ってきてからもすぐに家を出ようとせず
「今日は時間がないからカーテンはやめておこう」と言われました。
帰りの車内で私が
「本当はカーテンを見に行きたかった」と言ったら
「後になって言うな。その時言え」と言われました。

普通祖父のいる前で「カーテン見に行きたいから量販店に行かないで」って言えますか？
主人に逆の立場だったらどうかと聞いたら、「ちゃんと言う」と言われました。主人なら本当に言うかもしれません。

何のために娘を起こしたのか、、、
そして私が意見しにくい状況に置かれているのがわからないのか。

主人はいつも「すぐ帰る」と言って帰りません。
居心地がいいのでしょう。
寝るときもあります。
結婚当初から実家に訪問するとなかなか帰りませんでした。
だらだら過ごし、夕方になり結局は夕ご飯をご馳走になる、、、
義父母はいい人たちですが、長時間ともなると疲れます。
皆がいる前で「早く帰りたい」なんて言えません。
なかなか二人きりにもなれない状況ですし。

なので訪問前にお願いするのですがすぐ帰りません。

同じような方いらっしゃいますか？