義理の家族とのこれから…

初めまして。

私の夫は子供の頃からの家庭環境の影響（母親は子供を支配、父親は暴力的で自己中）で、モラハラや強迫性障害があります。
私自身、結婚した時からこれまで何度も夫のモラハラや強迫性障害悩まされてきましたが、話をしていく中で少しずつ改善されてはきました。

しかし夫の実家に顔を出す度に、夫は何かにつけてイライラし始め、義父と義母に対してモラハラが始まります。（愚痴や、文句、バカにする発言など）
小さい子供もいるので、目の前でそれが始まると私はそれだけでもストレスなのですが、酷い時には喧嘩に発展し、大声で喧嘩や、夫と義母が泣き出すなどの始末です。
その際は子供も泣いたり戸惑ったりするので、私が1人で連れて帰ったこともあります。悪影響だというのは言うまでもないと思います。

子供達のことは孫として可愛がってくれていますが、これまでの発言や行動、夫家族の問題に疲れ、このままではもう関係を遮断したいとすら思ってしまいました。

義母は積極的な人なので、私たちと会いたい、旅行にも行きたいと誘いは多いです。さすがに旅行などは行きたくないので逃げていますが、うちに遊びにきたい（孫に会いたい）、年末年始は来てほしいと言われても、流石に断るのはひどいでしょうか？

どのように義理の家族と今後付き合っていけば良いのか…
アドバイス頂けると幸いです。