義姉と旦那の感覚が理解できない

義理の両親はお正月やお盆などには義姉夫婦家族と私達家族を旅行に連れていってくれます。
それはすごく感謝しているのですが、その度に義姉の子供達を私がみないといけなくなるので、正直モヤモヤしています。
私の子は小学６年と３歳、義姉の子は小学４年と１年と４歳。子供達は仲良くしているので、旅行に行くと必ず一緒に寝たいと言います。それが決まって私達家族の部屋なのです。お風呂から出たら髪を乾かしてあげたり、話かけてくるので相手しないといけません。３歳の子がいるので、早く寝かしつけたいけど相手できない。毎回の事なので嫌になります。一度、「今日は義姉の部屋で寝たら？お母さん(義姉)に言ってきて」と頼んだら「あっちはダメだって。こっち(私の部屋)ならいいって」と言われました。
旦那も私の部屋で寝たらいいと言うのですが、自分はお酒飲んで寝てるだけなので、結局私が世話をします。

義姉は私の家から車で５分くらいの距離に住んでいるので、普通の土日にもよく義姉の子達を私達家族が遊びに連れて行きます。毎週のように旦那が「今日も義姉の子達を誘うか」と言っています。私が嫌だと言っても子供は義姉の子達と遊びたいので結局連れて遊びに行っています。
最初の頃はありがとうの一言がありましたが、今は連れて行くのが当たり前になって(なんならお菓子食べさせないでとか言われます)お礼の一言もありません。
ちなみに義姉夫婦が私の子達を遊びに連れていってくれたことは一度もありません。

こんなことでモヤモヤするのっておかしいですか？
もう我慢の限界で旦那にキレたら「お前はおかしい」と言われました。
自分は相手しないくせにと思い悔しかったです。

せめて旅行に行った時に順番に子供達を預かるようにさせたいのですが、何かいい案があればお願い致します。