面倒くさい友達グループを抜けた

学生時代にサークルで仲良くなった男女2人ずつの4人の友人グループがあり、卒業後も5.6年ほど定期的に飲みにいったり、旅行やイベントに行ったり付き合いがありました。

学生時代は共通の話題があったのですが、社会人にもなると話題もないし環境も変わるし、毎回沈黙も多くて正直楽しくなかったです。
それでも1年に数回の集まりなので顔を出していました。

そんな中私の結婚が決まり、4人で飲んでいたときたまたま夫が近くにいたので寄ってもらって少し紹介し、すぐに夫は用事のため抜けました。
その後友人グループのうちの1人が夫のことを物凄く失礼な言い方でしつこく批判しました。
すごく嫌でしたが、雰囲気を壊すのも他の2人に悪いと思い、そういうとこあるんだよね～とその場は笑って流し、帰ってから黙ってグループLINEを抜けました。

これで察して今後は私抜きでやってくれるかと思いきや、LINEを抜けた後も他のSNS等でLINEどうしたの？また飲みに行こうよと全員しつこいです。
そもそも話題がなくて沈黙が多いグループなので、3人じゃ間がもたないのだと思います。
私がいたときも4人で集まるために何度もリスケすることがありました。

私だけでなく全員にとって何も楽しくないグループだと思うのですが、なぜ無理に集まろうとするのでしょうか。
私は居心地が悪く感じ一生懸命話題を探していつも表面的な会話ばかりしていましたが、沈黙でも楽しい人もいるのでしょうか。
またこのしつこい誘いに対して、何と言って断るべきでしょうか。今後付き合うつもりはありませんが、余計な波風は立てたくないです。

男性の1人が私でない女性を可愛い可愛いとちやほやしていて、彼女は軽くあしらうのですが、これがこの男性が無理にでも集まりたい理由だと思います(他の人が集まりたい理由はわかりません)
そしてこれも同じ女性として何となく居心地悪いです。