孫だけ預かりたがる

長文失礼します。読みにくくすみません。
子供が2人年子の4人家族です。
お互い実家の距離は近く、義実家には1週間に1回ほど夕食に誘われ行きます。実家にも旦那の夜勤の時にお世話になったり、たまに遊びに行きます。（旦那が仕事の時）義両親は洋服やオモチャを買ってくれたり、材料をくれたりととても可愛がってくれますが、孫だけを預かりどこか連れて行ったり遊びたいと言ってきます。下の子はまだ3ヶ月のため上の子だけです。少しイヤイヤ期もありたまにぐずります。旦那に義父と上の子2人で出かけたいと言われ、やはり不安もあるしそれならば私含め、みんなで行きたいと言いましたが、預けないのはお前がおかしい！信用してないからだ！そしたら保育園にも行かせるな！お前がおらんでも大丈夫やし邪魔！など感情的に怒鳴られます。義両親もそれなら一緒にと言ってくれましたが旦那が譲りません。前にも何度かこの事で揉めた事もあり、今回は折れませんでした。すると荷物をまとめ子供と出て行こうとしたため、止めて自分だけ義実家へ行きました。
自分がいいよと言えばよかったのかもしれませんが、今まで預けた時も楽だなというよりも嫌な感情でしかありませんでした。そして、まだ1歳半ということもあり心配です。
離婚という言葉も出ました。
今後どうなるのか分かりませんが私が異常なのでしょうか？
旦那は自分が正しい！と思えば冷静に話しができません。
今日も出て行く前に荷物やタンスなどひっくり返しお前のせいだから片付けろなど嫌がらせです。子供にも悪影響なのではないか、離婚していいのかモヤモヤです。
うまく伝わらずにすみません。