両家を引き連れての旅行

主人は「結婚とは親同士の関係が大切」と信じています。
それに反論するつもりはないです。
しかし、両家＋我が家での旅行を毎年しようということには不満たらたらです。
お互いのじじばば同士、一年に一回は会いたいだろうと主人は勝手に信じています。
　家族構成として、我が家は小学生の娘一人。この娘が両家にとってたった一人の孫です。なので、じじばば4人が娘一人にでれでれ状態です。なので、例えば娘が私の実両親にばかりくっつくと「やばい、義理の両親にもくっつくようにこっそり言わなきゃ・・・」とドキドキします。逆に娘が義理の両親にばかりくっつくと、「お母さんかわいそう・・・」とまたドキドキします。
　それに加え、義父は糖尿病持ちで要食事制限です。そんな義父も一緒にってのは、気を使っておいしいものもあまりおいしそうに食べられません。
　こんな気を使う旅行、私ははっきり言ってもうしたくないのです。
　両家一緒に旅行するなんて、普通の人はしてないですよね？どうすれば主人に理解してもらえるでしょう?親同士の・・・の意味を履き違えてると思うのですが。
　ちなみに、うちの実母に本音を聞いたところ、「まあ・・・誘っていただけるならありがたくいかせてもらわないと・・・」と、若干困った様子でした。