子供の為と言うけれど、周りも混乱する厄介な関係性

夫の実家の話になります。 夫が10代後半の時に両親が離婚。その後夫は、母親、妹と暮らしていたそうです。 ですが離婚したとはいえ、妹さんが両親に仲良くいてほしかったようで、毎週末、父親とみんな揃って会っていたようです。 もしも義母が子供の為とはいえ、元夫の事が嫌いであれば、皆んなで会う事はしないと思います。 妹さんは未成年ではないので、一人で会うこともできると思います。 義母から詳しい離婚理由は聞いていませんが、私の夫が、別れた父親の祖父宅に行くと義母は機嫌が悪くなると聞いていたので、お姑さんが原因かもしれません。 妹さんは義母にベッタリで、別れた父親の住む祖父宅には滅多に行きません。 私はそれが普通だと思っていました。 離婚しているのですから。 ただ夫は複雑なようで、祖父宅にも行きたがります。お爺ちゃん子なので。でもそこに私も連れて行きたがります。 けれど私は義母のことを考えると行く気になれません。 皆んなで祖父宅に行くなら、喜んで行きます。 でも義母が嫌がるなら、夫だけ、もしくは可哀想ですが祖父宅にはもう行かないようにしたほうが良いと思いました。 子供のためにと元夫と会うならば、私の夫が父方の祖父宅に行っても機嫌を悪くしないでほしいですし、どうしても嫌ならば元夫と会うのをやめればいいのにと思います。 私は夫と義母の間で板挟み状態です。 祖父宅に行かなければ夫が不機嫌になり、行けば義母が不機嫌になる。 正直、離婚している義父の親戚となんて付き合いたくないです。 子供のためにしている行動で、非常に面倒くさい事になっています。 同じような状況の方いらっしゃいますか？ こういう時はどのように対応すればいいのでしょうか？