夫の実家と疎遠になりたい

夫の実家との関係で悩んています。
夫と私はアラフォーで再婚同士(子供なしで再婚)、再婚して一年半、四か月前に息子が産まれました。

夫実家は姑と独身の兄がおり、家から車で十分の距離に住んでいます。
もともと夫は自分の実家とはあまりうまくいっておらず、前妻さんも嫁姑関係で散々揉めたらしく、それも離婚の一因だと聞いています。

確かに、姑も義兄も癖の強い人だなぁという印象を持っていましたが、出産前は姑にとって初孫も産まれるので、私が間に入り、夫と実家の関係が少しでも良くなれば…といろいろ頑張っていました。
特に、姑は「自分の意見が百パーセント正しい」と思っているような人で、夫もそういう姑が苦手なようです。
会えば、毎回随分前に別れた前妻さんの悪口(しかも、不細工や育ちが悪い、ボロ家に住んでいるなど、女性特有の悪口の言い方です)や自分や義兄の自慢話などばかりで、姑に会った日はどっと疲れが出ていました。

そして、二か月の早産で産まれた子供は障害児でした。
私自身、子供の障害を受けとめるのに時間がかかりましたが、少しずつ前向きにやっていこうと思っていた矢先、労りの言葉一つないばかりか「養子に出せ」や「夫の普段の行いが悪いから罰が当たった」などと言われ、身内にまで存在を否定される息子が不憫でなりません。

私も今、息子のことで頭がいっぱいで精神的に余裕がありません。
身内だからといって、言って良いこと悪いことがあると思うし、夫に言うならまだしも嫁の私に面と向かって言うなんて、人として神経を疑いますし、言われた言葉が頭から離れず涙が出ます。

嫁となった以上、私なりに努力をしてきたつもりですが、無理だな～と思っています。こんなに近くに住んでいて、今後、関係を絶っても良いのでしょうか。私は大げさではないですよね？
アドバイスをよろしくお願いします。