義両親と疎遠の場合の親戚付き合いはどうされていますか？

結婚2年目の29歳同士の夫婦です。
数々の非常識な言動が原因で義両親と疎遠にさせて頂いています。私達以外の主人側の親戚も「昔からおかしかったからね」と言い、一定の距離を置いているとのこと。当初はなんとか上辺だけでもと言われていましたが、とうとう主人自身も義両親に呆れ、私にはもう関わらなくて良いと言いました。

年齢のこともありもうそろそろ子供でも欲しいなと思うものの、あの義実家に連れて行かなきゃいけないのか、会わせなきゃいけないのかと思うとどうも感情のコントロールがうまくいきません。（おそらく主人が連れて行くのだろうとは思います）子供にとっては祖父母になると頭では分かっていても、今まで自分がされたこと、言われたことを思い返すと辛くなります。ちょうど姪や甥もいるため、なおさら小さいうちに大人からの嫌がらせは受けさせたくないと考えてしまいます。

どれだけの嫌がらせがあっても主人は「それでも自分の親だから」と縁を切ったりはしませんが、私からしたら他人、挙式も前の週にドタキャンされ、私の両親に「子育てがなってない」などの手紙を送ったりと本当に迷惑なこともされ、主人が注意すると「警察に捕まらなければいいんだよ！」と非を認めないような人たちです。

主人の他の親戚には日頃から良くしてもらっていてとてもありがたいですが、この方たちのお葬式であの義両親に会うのならと行くのを躊躇してしまうほど本当に顔を見たくないですし、見られたくありません。行けば「よくこの場にこれるな」と言われるような気もし、行かなければ「なんで来ない」と言われるでしょうし、それならいっそ本当に一生関わりたくないと悩んでいます。

義両親と疎遠の際、みなさまはお子様たちをどうされますか？
また、親戚のご葬儀などはどうされますか？