義実家とお正月旅行

初めてまして
、よろしくお願いします。
私は主人、3人の娘の5人家族です。この度 お正月に義実家と旅行に行く話があります。
その旅行なのですが、断るとお怒りの電話がありました。皆さんの意見をお願いします。私が断った理由は
3日4日で旅行に行って、10日11日も、義兄の結婚式で泊まりで一泊するからです。子供と言ってもまだ幼稚園児。一週間の間に2回も、遠出して泊まりで行くのは、子供にとって体力的に辛いと思ったからです。決して義実家に会うのが嫌なわけではありません。年末年始、保育園行事も多く、今は元気ですが、かなり大変な練習をして頑張っているので、3日4日の旅行は行かず家でゆっくり寝させてあげたい。義兄の結婚式で、親戚みんなに会うことができると思ったからです。主人は断った事に対して、怒っています。久しぶりに兄弟に会うのに、と、いうのですが、兄弟とは１0月に義姉になるお嫁さんの紹介を兼ねて集まりましたし、元旦も、主人の実家であいます。そんなに断ったことがいけないのでしょうか。私の実家でも、今回、妹が結婚して初めて旦那さんが来るというのに、帰ることに対していい顔しません。