義実家での振る舞いについて

義実家での振る舞いについてです。 私たちは義実家は遠いので年2回ほどしか行きません。 義姉2人は実家が近いのでよく行っています。 義実家は ・キッチンやダイニングのある部屋 ・仏壇のある部屋(ここだけ狭い) ・テレビのある部屋 が横並びです。全て襖が開いているので仕切りはありません。 キッチンのある部屋で皆でご飯を食べた後、義姉2人とその子供たち(3歳、1歳、1歳)がテレビのある部屋で遊んでいます。 自分にも1歳の子供がいます。 旦那と私と子供は仏壇のある部屋でくつろいでいました。 その後義母もみんなのいる部屋で遊び始めたのですが、こっちで遊ぼうと声を掛けられることもなく、内輪で楽しんでいるというか、ちょっと入って行きづらい雰囲気でした。 しかし途中で義母と義姉が 「２階で休んできたら？」と言ってきたので、もしかしたら私たちが入っていかないから怒ってるのかと思い始めました。 どのように振る舞えば良かったんでしょうか？