義母の葬儀の参列について

長くなりますが、相談に乗って頂けると幸いです。

先日、義母が亡くなりました。
つい最近まで夫とは離婚の話になっておりました。離婚に至るまで様々な事があり一つには絞れませんが、義実家の過干渉も一つの原因ではありました。
夫からは、義家族とは今後一切関わらなくていいという話もあったのと、子供もまだ幼いので子供のことを考えて、という考えに至りもう少し我慢して頑張ろうと思っていたところでした。
義母が弱っていく中、私は義母に挨拶はしたいなと思っていましたが夫から会わなくていいと止められており会わず。
(夫はまた義母が過干渉しだすかもしれないと思ったから止めていたそうです)
義母が亡くなった時に、夫から本当は義母が私に会いたがっていたと聞かされ急いで会いに行きました。
もう亡くなっていましたが思いを伝えてきました。

すると義母の家族から
あなた家を出て離婚しようとした分際では何しにきたのか、子供を理由にかこつけて戻ってくるなんて、等々説教をされました。
夫が私を庇ってくれていたこともありその場では私も話を聞いておりましたが、正直夫婦間の問題を何も知らない義母家族に一方的に私が悪いという言い方をされたり納得いかない点がたくさんあり涙が出てきました。
元々精神的な病もあり(義家族はこのことは知りません)過呼吸にもなり、正直もう顔を合わせる事が辛いです。
義母は夫が子供の頃に離婚しており親権もとっていないので義母家族との戸籍上での繋がりは正直ありません。
夫は、もうあの人達と会わなくていいしこれからの葬儀等も来なくて大丈夫だからと言ってくれています。
義母の葬儀に行かないのは非常識な事なのかもしれませんが、義家族と顔を合わせたくなくて行きたくないのが本音です。
それでも我慢して行くべきなのでしょうか。