クリスマスイヴに親戚の集まり！？

トピを開いて頂きありがとうございます。
結婚2年目、5か月の娘がいる専業主婦です。

遠距離恋愛の末、結婚し仕事を辞めて彼の住む所に引っ越して間もなく妊娠し、今年の6月に出産しました。
今住んでいる地域は両方の実家共に遠く知り合いもいませんが、楽しく子育てしています。

昨年のクリスマスは主人の仕事が忙しいという事でつわりもひどかった私は1人で実家に帰省し、別々に過ごしました。
今年は子供も生まれ、ようやく家族で初めてのクリスマスと楽しみにしていたのですが、今朝、主人から「24日は親戚の集まりがあるから」と言われました。

義母の実家が車で30分くらいの距離にあり、義母の両親、兄弟（主人の祖父母、叔父叔母）も近所に住んでいます。
地域性もあるのかもしれませんが、その親戚が月１程度で集まり、飲んでいます。
彼が独身の頃はあまり参加しておらず、会うのも年に1度くらいだったようなのですが、結婚してからよく誘われるようになりました。

正直、私達の結婚式に彼の祖父母は来られず（高齢で体調が悪いとの事）、叔父叔母も義母の兄弟のみ1人ずつの参加という感じでしたので、それほど濃い付き合いがあるとは思っていませんでした。

叔母達から早く仕事を探すよう言われたり、お酒を飲まない事を注意されたりした事もあり、（既に妊娠していましたがまだ公表していませんでした）正直この集まりが好きではありません。
主人も毎回飲みの途中で寝てしまうので、いつもいたたまれない気持ちになります。

義両親もいないのに、どうして毎月参加しなければいけないのか。
好意で誘って下さってるのは分かっているのですが、幼い子を連れて飲んでいる場へ行く事にも抵抗があります。
主人は普段忙しく会話らしい会話もありません。
クリスマスイブくらい家族で過ごしたいと思う私は心が狭いのでしょうか？
断ってもいいでしょうか？