夫の先輩が苦手、集まりに行きたくない

夫、私ともに30代前半、子供が1人います。
夫は職場の先輩・後輩とのグループで、よく集まっています。
皆さん彼女、奥さんも交えて集まることも多く、私も交際期間中からその集まりに参加させてもらっていました。
私自身も大人数でワイワイするのが好きです。

ただ、その中で以前から少し苦手な先輩夫婦(ほぼ同年代)がいて、自分達の小さい子どもたちを夜中の2時3時頃まで一緒に集まりに参加させていたり、一家でコロナに感染し自宅療養期間中にも関わらず、無症状だからと温泉旅行に出かけていたりと、非常識さを感じていました。

そんなあるとき、集まりに私も参加した際に、その苦手な先輩(ご主人の方)から、もっと旦那を飲み会に参加させろ、うちの妻はいつもOKしてくれ、送迎もしてくれるということを言われました。その頃は、うちは子どもが産まれたばかりで、夫は集まりに参加する頻度が減っておりましたが、それは育児の大変さから夫が自ら断っていた話です。(後から夫に、私が飲み会を許可してくれないと話しているのかと聞きましたが、そんなことは言っていないとのこと)

私はこの出来事もあり、今後集まりには夫一人で参加してほしい旨を夫に伝えました。夫は、先輩は悪気なくそういうことを言うタイプで、今後も家族ぐるみで付き合っていきたいから私に我慢するように言ってきました。

結果的に、今後集まりには夫一人で行くことを了承してくれましたが、その後うちで集まるという話になっても、その先輩がいると私が嫌がるから呼べない、自由が奪われたと、度々機嫌が悪いです。

私が我慢して今後も集まりに参加すればよかったのか、あるいは、夫にその先輩が嫌だということを伝えずに、他の理由をつけて参加しないようにすればよかったのか･･･など、考えてしまいます。

私はどのように対応すればよかったと思われますか。ご意見をいただけると幸いです。