頻繁に義母に会いに行く旦那について

旦那(40)と義母(70)の関係に悩んでいます。

結婚5年、子供が1人います。
旦那の実家、旦那の職場ともに自宅から車で10分ほどの距離にあります。

結婚当初から料理や家事について「お母さんはこうしてるからこの方がいい」などの発言が多く、度々喧嘩になってきました。

中でも一番嫌なのが、仕事の休み時間に頻繁に義母に会いに行っていることです。
義母も旦那も私にわざわざ言いませんが、両者と話していると「また行ったんだな(来たんだな)～」と気が付いてしまいます。
義父は仕事をされていて日中はいません。

休みの日も何かと理由をつけて会いに行きたがるので、いつも会いに行ってるのにどんだけ会いたいの？！とイライラしてしまいます。

私も5年間、義母や旦那の提案で最低でも週に1回は孫を見せに行っています。

結婚当初はまだ寂しいんだろうとか、何年かしたら変わってくれるだろうと我慢してきましたが、全く変わることはありませんでした。

うち(私)より実家(義母)の方が落ち着くんだろうなぁ…と解釈しては悲しい気持ちになってしまいます。

義母はとても優しい方で、息子達には反論もせず、どんな事も子供たちの為ならと尽くすような人です。
一緒にお買い物に行くと旦那の好物だからと普段は買えない物も必ず買ってくれます。

一度旦那が来ているときに鉢合わせてしまい、義母はすごく気まずそうにしていました。
なので、あまり嫁がいい顔をしていないことは分かっているのかなとも思います。

親孝行だと言われればそれまでですし、くだらない嫉妬だとも分かっているのですが、最近はずっとモヤモヤしていて落ち込んでしまいます。
けれど、結局は親を大切にしている旦那にイライラしてしまうような自分が一番嫌です。

自分のこんな嫌な気持ちを消す方法や旦那の緩和策はないでしょうか？
アドバイスや経験談などお願い致します。