結婚否定派の男性と結婚願望のある私

30代前半女性。外見、仕事（収入）、家柄、学歴、何をとっても自慢できるところがありません。
失恋続きで彼氏もおりません。
結婚願望はありますが、この年齢でそれを口にすると「もうあきらめたら？」などと言われたり、「よりごのみしてるんでしょう」と説教されることが多く、外で結婚についての話題を出すことはしなくなりました。

最近、趣味の集まりで知り合った20代後半の男性から、結婚に関する愚痴を言われます。
「親が結婚しろとうるさい、結婚しないと認められない社会は間違っている」
「男には結婚するメリットがない」
「女は結婚したら楽になるからしたいんだ」
「30代の女性に言い寄られても、おばさんを養いたくなんかない」
など、私の結婚願望を知らないためか、かなりずけずけと結婚願望のある女性を否定する発言をしてきます。
彼はかなりの理屈屋で、私が一度結婚したがる女性を擁護するような発言をしたら、結婚に関する男性のデメリットについて懇々と諭され、自分を否定されたようなひどく辛い思いをしました。

やめてと言えばいいのでしょうが、趣味の集まり仲間もそういうタイプが多く、結婚願望のある女性や婚活する30代以上の女性を嘲笑うような発言がたびたびありますので、仲間全員に同じように諭されたらと思うと言い出せません。

ひどくストレスになりますが、彼が趣味の集まりの連絡係になったため、連絡を断つこともできません。
集まりをやめたくとも、私も集まりの中で責任のある立場になってしまっているので、すぐやめることもできません。

はっきりと「私も結婚願望があるから言わないで」と言うべきなのでしょうか。
それとも責任など放り捨てて、集まりへの参加をやめるべきでしょうか。