度重なる権威的な物言いの義父との付き合い方

こんにちは。当方、３０代女性です。既婚でこどもあり（２歳）です。
今日は、義父と夫への対応でご相談です。
義父はとても感情的・権威的な人です。一番の被害者は義兄のようで、義兄は権威的な義父に疲れ、新卒で数年働いた企業も辞め、10年以上ひきこもりになってしまいました。今義兄は、義父母と住んでいます。義父は、義兄に限らず、自分に気に入らないことがあるとすぐ怒鳴り散らし、でていけ、二度と敷居をまたぐなと言い捨てます。私たち家族も、子供が０歳と1歳のお正月の折に、上記のような発言をされ、さすがに怖くなってしまい、以来義父母の家に足を運べていません。
子供を会わせる前に、そうした行動を取らない折、約束させたいのですが、肝心の夫が及び腰です。夫は、子供の頃からで呆れ果てているものの、今更改めることはできないから、議論はムダと諦めています。私としては、家族だからこそちんと話し合う場が必要だと考えます。それがなかったからこそ、義兄もあのようなことになっているとも思います。（臭いものにはふたをするようなことばかりでは整理がつかないと思うのです。）
夫は、私に里帰りを強要することはなく、義父母と会う際も、無理強いはしませんが、正月の話も結局うやむやになり、少しずつ、夫は娘を連れて義父母に会っています。私としては、少なくとも夫婦では話し合いたいと思いますが、「きみに強制しないけど、親孝行はしたい」と言われ、議論ができません。。何もなかったようにする義父母・義兄・夫の対応に同調できません。家族づきあいというのはお互い様ですし、話し手によって主観も入りますので、なんとかいい解決をしたいと思いますが、義父母との関係をどのように進めればいいか皆様ご意見いただけないでしょうか。1義父母とどう付き合えばいいか、2夫にどうわかってもらえるか、アドバイスお待ちしております。