新婚の義弟夫婦と合同旅行

みなさんこんにちは。 夫と４歳の子供がいる主婦です。 近々義母が退職するので、お祝いのための一泊旅行を計画しています。 夫・私・義母・子供の４人で行く予定です。 義母も含めた泊りがけの旅行は初めてなので、私としては多少気疲れしそうですが、義母は苦労人ですので、労いの気持ちも大きいですし、その辺りは割り切っています。 一応、付き合いは長く、何度も一緒に出掛けたりしているので、お互いに割と素でいられる関係です（多少気は遣いますが）。 そんな中、夫が突然、弟夫婦も誘ってみようかと切り出してきました。 弟夫婦（私から見れば義弟夫婦）は新婚です。 兄弟仲は昔から良好です。 義弟夫婦とも付き合いが長く、奥さんがまだ彼女だった頃から何度も会ったりしてはいますが、まだお互い若干緊張する間柄です。 ですがとてもいい子なので、もっと仲良くなれたらいいなとは思っています（おそらく向こうも）。 私たち親子と義母は一部屋、新婚夫婦は別部屋です。 行き帰りの車の中と、食事の時だけ皆一緒というスタンスの旅行になるかと思いますが、新婚夫婦にこの内容の旅行は重いでしょうか。 とりあえず、義弟にはまだ声はかけていませんが、新婚の義弟夫婦が長男夫婦、さらには義母付きの一泊旅行に同行したいなんて思うでしょうか？ 夫は良かれと思って発案してくれたようですが、むこうの奥さんにとったら苦痛以外の何物でもない旅行になってしまうのでは……と気がかりです。 こちらから誘ってしまえば、義弟夫婦も断りづらいでしょうから、奥さんの心中はどうあれ、おそらく参加すると思います。 私がナイーブすぎるのかは分かりませんが、夫に上記の旨を話したところ、考え過ぎだと一蹴され、誘ってみて向こうがイヤなら断ればいいだけだろとのこと。 （その断るのが難しい気がするのですが） どうでしょうか。