夫の友人とのつき合い方はどぉすれば？

結婚して１０ヵ月の主婦です。夫の友人との付き合い方に悩んでいます。 夫は同期の友人たちとその奥様たちも含め、お泊り旅行や飲み会などのつき合いをしています。私も何度か集まりに参加しましたが、みなさん楽しく優しい人達だと思います。 でも、奥様たちも昔からお友達なので、まだ入っていくのが難しいところもあります。。そして、当日急に食事のお誘いがあることもあり、ちょっと戸惑います(こういう時は、近くに住んでいる人たちのみ集合ですが)。 なので、『今日は午前中に用を済ませて午後はのんびりするぞっ！』と思ってる日の休日に突然お誘いがあるときは、申し訳ないとは思いつつ、「今日、私は遠慮したい感じだけど、行ってきていいよ～」と夫に言ってしまいます。 しかし、そう言うと夫は、「そういうわけにはいかないでしょ」と言って参加しないので、結果『私が参加すればいいことなのかなぁ～』と感じてしまうのです。ほかの奥様たちは急な集まりでもほとんど参加状態なので、なんだか追い込まれた気持ちにもなり。。 もっと夫たちのペースに合わせるべきなのでしょうか？最近、悩んでます。