義理家族が頻繁に遊びに来ます

初めての質問なので、不手際があったら申し訳ありません。 今年結婚したムサ子と申します。私は26歳専業主婦、夫は29歳会社員です。 双方実家は遠方で、私の両親はまだうちに来たことがありませんが、義母は頻繁に(月1～2回ほど)遊びに来て泊まっていかれます。 私が出掛けていても｢先に家にいるから気にしないで｣と言われることも多く、外出中でもなんとなく気になってしまいます。 その他、未婚の義兄が月に2～3回、結婚している義姉家族も月1回ほど遊びにきて、それぞれ昼間から夜遅くまで滞在していかれます。 義理家族との仲はとても良好で、私もとても良くして頂いていますが、どうしても気を遣ってしまって疲れます。 家族と会うのはどこかカフェなどでいいのでは、と思いますが、義理家族はとても仲が良く、夫も含め｢家族なんだから家を行き来するのは当たり前｣と思っているようです。 私は勝手ながら夫の休日にはたまには2人で出掛けたり、家でごろごろしたいと思ってしまいます。 それとなく夫に伝えるにはどうすればいいでしょうか？ また、同じような経験をされた方はどのように打破されたのか、お知恵を貸して下さい。