夫と実母の関係

結婚して4年になります。
結婚当初にいざこざがあり、それからずっと実家と主人の関係は最悪でした。
一回も顔を合わせたことはありません。私は主人の両親と同居していて実家までは車で10分の距離です。
子供（2歳と3歳の姉妹）を連れて実家へ遊びにはいきますが主人は来ません。
実家の話になると主人の機嫌が悪くなるのであまり話題に出すことは避けています。
今回子供の入園式があるのでみんなにお祝いしてもらいたいし、主人にも実家に伝えていいか聞いたら、いいよ、っと言ってくれたので、祖父母にも見てもらいたいと思い、実家にも来れたら来て欲しいと伝えました。
その後、主人に「おばあ（実母）が来るなら俺のテンションがたおち。虫唾が走る」
っと言われました。
いままでもなんども実親のことを悪く言われていて、そのたびに私は辛いです。
これでもか、というくらい悪く嫌った表現をしてきます。
今回も、誘わなければよかったのかな。
実家と義家の関係で悩んでいる方いらっしゃいませんか？
これからまだ長い人生、どう対応していけばいいのか教えてください。