義実家家族との一泊旅行（２日目旦那不在）に行きたくない

時短で週5平日勤務、未就学児3人（5歳双子と1歳）のワーママです。 義実家から徒歩5分の所に自宅あり、関係良好です。主人は三人兄弟の長男です。 今度、義実家家族と近隣に一泊旅行する計画を、義父母三兄弟で立てている様です。 メンバーは、義父母、次男4人家族、三男4人家族（いずれも従兄弟たちはうちの子と同年代で仲良し）、加えて私たち5人家族の大所帯です。 旅行が好きな義父母、孫が生まれてから一泊旅行を年1行きたい人です。 これまでは、まだ大人に比して子供が少なく、私も育休だったので一泊旅行も大丈夫でした。 が、今年度に職場復帰、未就学児3人の育児家事、末っ子の長引く夜泣きなど、あまり余裕がありません、 加えて、荷造りと外泊が苦手です。自分の実家（車で40-50分）でさえ、泊まらず自宅に帰ってくるくらいの苦手です。 3人目が生まれてからは日帰りのみです。 上記は主人には伝えています。 そんな中、主人が旅行２日目不在なのに、義実家家族との一泊旅行（土日）を提案されました。 主人は泊まりはするが朝ご飯後仕事にいくそうで、後のフォローは義父母が、と言っていました。主人の帰りは夜だそうです。 正直行きたくないです。 次男三男の子供計4人も、最年長が4歳、最年少は生後半年の乳幼児ばかり、義父母のフォローが少なからず要ります。 不慣れな旅行場所にワンオペ、義実家家族への気遣いなど、気が進まない要因ばかりが浮かびます。 主人がいるならまだしも、主人不在日程はしんどいと、断っていいでしょうか？ この日程しか他家族が空いてなかったらしく、私が断ると旅行自体が流れるらしいのです。 悩んでいます。ご意見聞かせて下さい。