頻繁にやってくる義姉、義母について

現在、育休を取得しもうすぐ生後1ヶ月になる子供の育児に奮闘中の夫です。 義姉が義姉の旦那が出張で家に一人ででいるのが寂しいから泊まらせて欲しいと言ってきており、モヤモヤしております。 出産後、約2週間夫婦で義姉の家でお世話になったものの、まだ私たち自身も自宅での生活リズムが掴めておらず、また新居へ移っての事なので引越しの荷物の整理など、自分達のペースでやりたい気持ちはあります。 特に妻方の義母と義姉は、料理を作ったから行くわなどと何かと用事を作って来たがります。義母と義姉は別々のタイミングで来るため、週に何回も来ることもあります。 生後1ヶ月ほどで夜中も多いなか、正直に言って毎週来られるのも迷惑ですし、自分の都合で泊まりに来る義姉にも自分だけ特別枠のような感じで、遠慮とか考えないのかと腹が立ってきます。 私の両親は妻の実家と対極的で、出産後初顔合わせもこちらが落ち着いたタイミングで良いからと言ってくれて、一度しか来ていません。 みなさんならどう思われますか？ よろしくお願いいたします。