義母が苦手。夫に告白して良い？

結婚して5年過ぎ、1人の子を持つ主婦です。タイトルの事について聞いてみたく立ててみました。
夫の実家は自宅から近く、週1回（もしくは、それ以上に近い）ペースで帰っています。
そこに私も同席し、少しでも親交を持つ努力をしてきました。
しかし、それがアダとなってトラブルもしばしばあり、義母の価値観と合わないし、私はなるべく同席しないほうがいいなと思い、子供が産まれる前までは、月1回や彼岸・盆・正月程度に抑え、夫だけ毎週帰るような生活にしてきました。
そして、出産直前から子供が産まれた後は、再び夫のペースで帰っていて今に至ります。
しかし、合わないと認識している以上、些細な事でもストレスを感じ、それに伴い夫婦仲も微妙な雰囲気に。
結婚後いつまでも実家に帰りたがる旦那の姿を見ることで、私が義母に対して嫉妬しているのもあるので、義母のところに帰りたがるのは仕方がない、そこはあきらめてせめて自分だけでも実家に行かなくて良い方法を模索してきました。
しかし、夫が、私も一緒に帰らないと困るような雰囲気を常に出しており、最近は子供の意思もハッキリしてきたので、夫が実家に行くとなると、息子も祖父母に会いたいとせがみます。
そこで、私も2人で行ってらっしゃい、とできればいいのですが、義母が持病を抱えており、たまに体調が辛そうな時もあるので、私がついて面倒を見てないと義母に申し訳ないと思い、仕方なくついていく羽目になります。
本当は夫が、実家に行くペースを落としてくれれば、ココまで悩まずにいられるので、私の義母に対する気持ちを伝えれば
少しは自重してくれるかな？と思っているのですが、親の悪口に近い告白を受けたところで夫の気持ちを思うと、踏ん切りがつきません。