真夏の旅行を断りたい

三十代女性です。
お盆休みの旅行を勝手に予定されました。上手な断り方をアドバイスよろしくお願いします。
都内から伊豆へ三日間の予定です。
メンバーは義理の両親と義兄家族(子供あり)と私達家族３人合計１０人です。

お断りしたい理由。
・11ヶ月の子供に真夏の旅行は体力的にきついと思う。
・車が無い(義理の両親も)
・私が育休中の為、毎月赤字

ここからは直接言えない理由。
・義理の両親はデリカシーが無い。モラハラ発言がひどい。(そのせいか友達が居ません)
・孫はオモチャ感覚。足で孫をつついたり、自分が触りたい時は昼寝していようが起こします。
・脅かして泣かせます。(幼稚園児含む)
等々。

私の性格としては、学校や会社では、自分の苦手なタイプの人たちへは、嫌味を言ったりあからさまに顔に出したりとか、するのは面倒なので、とにかく関わらないように生きてきました。でも世の中、嫌われているのに気付かず土足でガンガン来る人いるんですよね。義兄家族がまともなのが救いです。
アドバイスよろしくお願いいたします。