結婚後の友人との付き合い方

はじめまして。結婚して３年になる者です。 皆さんにお聞きしたいのですが、私には友達（グループ）が４グループほどあり、それぞれ学生時代の友達、会社の友達、といった感じで分かれています。 それで、いろんなタイミングで各グループの友達から旅行に誘われるのですが、各グループで年に１回のペースで行ったとすると、友達との旅行に年４回も行くことになり、到底金銭的に無理なので、正直にそれを理由に断っているのですが、たまに「私って、付き合い悪い？」って考え込んでしまうことがあります。 正直、買い物や食事を一緒にする程度であれば、気にせず行けるのですが、旅行となるとやはり出費が多く、私としては主人と二人きりで旅行も行きたいので、たまに断っているのですが、やはり付き合い悪いって思います？