旦那の言い分

皆さんの意見を聞きたいです。
旦那の兄弟4人、全員既婚で子ありです。
私たちだけ旦那実家から遠方（新幹線で1時間半）。

旦那の母が子供（旦那兄弟）と一度飲んでみたいとの事で日程を決め兄弟が集まることになりました。
旦那は気を使ってくれ子供達3人を連れて実家に帰るから私はゆっくりすればいいと言っていました。
でも決まった日がうちの次女の誕生日で、私も行かないとおかしいよね？という流れから色々あって、今回は兄弟飲みがなくなり、全員嫁子を連れた形で夕方から集まることになりました。
当初旦那のみ帰ると思っていたので、私自身の予定を気にしていなかったのですが、全員で集まるので予定を見たところ次の日に外せない用事が入っていました。
その際に旦那から「なぜ最初から自分の予定を見ておかない。みんなの予定が変わるだろ！」と怒られました。娘の誕生日になった時点で自分も行く可能性があったんだから確認しておけよ！ってことだと思いますがみんなで集まる事が決まったのは予定を見た日だったので“そんなこと言われても…”と思いました。

それから、旦那に「今回はうち家族全員行かないか、俺と子供のみ帰るか次女に聞いて」と言われ聞いたところ、「おばあちゃんちにも行きたい、でもママもかわいそう（この可愛そうは後に私に気を使って言っただけという事がわかりました）」と。私も誕生日の次女と過ごしたかったので、私なりに考えて“みんなで車で行って私のみ終電の新幹線で帰る”にしようと言ったところ、私が大変だからそれはしなくていいと言われました。私は大丈夫と言ったところみんなが気を使う、それはお前のただのエゴでわがままだと…。
みんなの予定を変えず、うちの子に会いたがってる従兄弟たちの気持ちと私の希望も考えて言った事ですが、これはわがままですか？