仲良しメンバーを抜けるには

４６歳の既婚の女性です。自分の父親と同年齢の男性とのことについて、悩んでいます。 ４年前から社会人学習会に入り、７５歳の男性講師を中心に３０～５０代の男女１５人くらい月に一度、集まっています。会の後は、懇親会でお酒の席があるという感じで、みんな楽しみにしている感じです。 その講師に去年の秋から私ひとりが度々旅行に誘われて（メールで）ずっと断り続けているのですが、 あまりにも執拗なので、退会することにしました。 でも、退会の理由をメンバーのみんなに正直にいうべきかどうか悩んでいます。 その中で特に親しい男女２人には話したのですが、言わない方がいいといいます。 でも他のメンバーから連日のように「どうしたの？」とメールが来て、これまでみんなと楽しくやってきただけに、分かれも辛くて悩んでいます。 講師は一見、温厚でみんなの信頼と尊敬を得ています。 東大出の頭の切れる人で、一度、敵にまわすと恐い面もあり、慎重にしたいと思っています。 みなさんならどうされますか？