適切な断り方

先日デパートのフードコートに、幼児一人大人三人で行った時の事です。 日曜に子供向けのイベントがあり、さらにお昼時ということもあってフードコートは大変混雑してました。 荷物や子供をひざの上に乗せてできるだけ詰めてたり、使わない椅子を足りなくて困ってる人に譲ったりしてる人も見かけました。 その中で、二人用の席を二つくっつけて四人用を二人で使ってる２０代前半くらいの男性とその母親と思われる４０代後半くらいの女性がいました。 私たちはだめもとで「お二人ですか？すみませんができれば詰めて座っていただけないでしょうか？」と聞いてみたのです。 すると女性が男性の顔を見ながら「・・・だって。どうする？」　　男性「いや。ご遠慮します。」　と言ったのです。 その発言後、その女性が口を押さえて笑いながら私たちを見ていました。 それに対してあとで家族は内心むっとしていたようでした。 ですが私は、「すみませんができれば詰めて座っていただけないでしょうか？」という問いに対して「ご遠慮します。」という返しがなんとも不思議な気がして何か可笑しくなってしまい笑っていました。 国語に詳しいわけではないので正しいかはわかりませんが「遠慮します」という返しはこの問いの場合とても滑稽に聞こえてならないのですがうまく説明できないでいます。 断るとして私なら「ごめんなさい」「すいません、できるだけ早く退席しますので・・」などです。 どなたか国語にお詳しい方、この場合のスマートなというか適切な断り方、「ご遠慮します」は適切で私の勘違いで違和感を覚えてるだけなのか、わかる方教えていただけないでしょうか？ 他に皆さんは、どのような断り文句を使いますか？