同僚の「お宅訪問」を断りたいです

つい最近、社内結婚をした30代前半女性です。私も夫も、変わらず同じ会社で働いています。 同僚の女性の中に、ある「仲良し派遣グループ」があります。Aさん（37歳既婚）、Bさん（35歳既婚）、Cさん（30歳独身）、Dさん（32歳既婚）、Eさん（35歳既婚）の5人です。私は5人と同じく派遣社員ですが、グループに入ることをしておらず、全員とつかず離れずの関係を築いています。 私と彼が社内結婚をしたのが数ヶ月前ですが、それからずっと5人の誰かに「新居に遊びに行かせて！」と言われ続けて困っています。社内結婚ということもあり、会社の人に必要以上に私生活を見られたくない気持ちや、特にAさんとEさんが噂話好きで苦手なので、できれば仕事以外での付き合いは控えたいのです。 これまでは「新生活が始まったばかりで生活が落ち着いていないから」と断れたのですが、先ほどついにAさんに「もう3ヶ月以上経つんだし、そろそろ落ち着いたでしょ？今週末5人で（かつ子持ちの人は子連れで）行ってもいいでしょ？」と言われてしまいました。「今週末は予定がある（本当です）」と断りましたが、先ほど社内メールで「じゃあ、いつならいいの？OKな日を教えて」と来ました。 何度か断れば諦めてくれるだろうと思っていたのですが、最初からキッパリ断らなかった自分が悪かったようです。まさかここまで食い下がられるとは思いませんでした。一度招待すれば気が済むかもしれませんが、一度許すと二度三度・・・とありそうで怖いのです。実際、5人はよく誰かの家に集まってお茶会をしているようです。 夫は他部署なので、5人とは面識がありません。なので夫から断ってもらうのは困難です。仕事上の関係が悪化するのは覚悟していますので、なるべく角が立たないようにハッキリ断る方法をアドバイスいただけませんでしょうか。よろしくお願いします。