義理の家族との海外旅行

こんにちは。悩んでいます、皆さんの意見をお聞かせください。

義理の妹夫婦が海外（アジア）に出張へ行き5ヶ月ほど経ちます。主人がそろそろ会いに行かなきゃなぁと言い出しました。義理の妹夫婦はいい人達ですが、正直行きたくありません… 理由は、結婚して子供も生まれて初めての長期旅行なので家族3人水入らずで過ごしたいなぁという思いがあるからです。あと、主人と義理の妹やその子供達の仲がすごくよく疎外感や嫉妬を感じることもあるからです。これは大人として恥ずかしい感情ですが正直に書かせてください。
家族水入らずで過ごしたいと言う事は主人にも話していますが、主人は寂しがっている彼らのためにも行ってあげたいし、他の場所へ旅行したら彼らに悪いと言います。かわいい姪達にも忘れられないように会いに行きたいとも言います。今回は別の場所へ行き、次回義理の家族の元へ行こうと言っても聞いてくれません。宿泊費も浮くし、子供を彼らに預けて一日くらいデートできるぞと誘惑してきます。（これはちょっと魅力的ですね笑）でも、でも、行きたくないんです！

どうすれば主人や義理の妹を説得できるでしょうか？それとも私が折れるしかないのでしょうか？みなさんのお知恵、ご意見をお聞かせください。