義理両親と実両親の会食

初めてトピを作成させていただきますパン粉と申します。
身近に相談できる人がいないため、よろしければ皆様のご意見を伺いたくトピをたてさせていただきました。

夫と私と2歳になる子供がおります。
義理両親と実両親は、ともに同じ市に住んでおり、新幹線で片道5時間かけて、年２～３回ほど帰省しております。
その際、義理両親がレストランの予約など、色々と帰省時の計画を立ててくれるのですが、義理両親中心の計画となっており、「もし良かったら、パン粉さんのご両親もどうぞ」という流れになっています。

私の両親としては、義理両親に気を使うし、会話の内容も病気のことや交友関係のことを聞かれて苦痛だから義理両親とは別々に食事したいと言われます。

以前、別々に食事をする計画を立てたところ、義理両親から「パン粉さんの両親は私たちのことを嫌ってるから一緒に食事したくないんでしょ」と夫の電話に話しているところを聞いてしまいました。
夫からも、「お互い近くに住んでいるんだから仲良く食事してほしい」と言われます。

でも、私としては孫との触れ合いも義理両親中心となっており、実両親が遠慮しているのを見るのがつらいのです。

どうしたら良いでしょうか。