夫婦とも離婚家庭で育った場合の祖父母との接し方

1歳になる息子がおります迷子と申します。 タイトル通りなのですが、私と夫、共に両親が離婚しており 祖父母らがバラバラに暮らしている状態です。 義父とは敷地内同居のため、息子は毎日可愛がっていただけ また、実母は月1-2回のペースで、遊びに来る状態です。 ご相談したいのが、離れて暮らす義母及び実父です。 離婚の原因が、彼らの（義母はパチンコ依存＆ネグレクト、実父は浮気＆DV）にあるため 夫は義母を嫌っており、私も実父は苦手です お互い、それを理解しているため、義母は私に、実父は夫に ものすごく下手かつ丁寧ななメールや電話で息子（彼らにとって孫）に会いたいと訴えてきます。 私は義母に会うのは問題ないので夫抜きで息子と2人で会いに行くのは構わないのですが 夫が嫌がります 息子のことだけでなく、義母が喜ぶことすべてが嫌のようです。 また、私自身は実父に会いたくないのですが、夫と息子2人で実父に会いにいくのは構わないと思っていますが 夫はそれも嫌のようです。 だったら、2人から距離を取ればいいと思うものの 「常識だから」と結婚、出産の連絡だけでなく、 月1程度で息子の成長記録及び写真送付を行っているのは夫です。 夫の顔を立てて、実父に会いに行くことを私に求めるなら 私の顔を立てて、義母に会いにいくことも認めてくれればいいのに 夫が成長記録を送るたびに「会わせる」「会わせない」でもめるのが嫌になってきました ご夫婦のどちらかの両親でも離婚されている方、 やはり子供は会わせない方針でしょうか？ もめる方がおかしいですか？ 他の方の状況を聞きたく、投稿いたします。 お目汚し、失礼いたしました。