お酒の席でやたらとくっついてくるご近所さん

昨年夏に主人の地元に越してきました。
自然が多くとても良いところです。
人生初めて町内会に入りました。

紅葉狩り、忘年会、新年会など飲み会がとても多いです。
近所の旅館を予約し宴席です、子供が来ることもありますが多くは同居の家族の誰かが子供と留守番ということが多いのでほぼ大人だけです。

その席で近所の旦那さんがやたらとくっついてきます。
距離が近いというレベルではなくまさにくっついて来るという感じです。

私はもともと人と距離を置きたいタイプで声も大きくありません。
そのせいかぴったりくっついてきて肩を組んで息がかかるくらいの距離に顔を近づけてきます。
夫は町内会の付き合いや消防団の方への挨拶があり席を外していることが多いです。
夫が近くにいる時はサッと来て間に入ったりその旦那さんの興味を引くような話をして私から遠ざけてくれます。

その方の奥様も来られてますが「うちの旦那距離近いのーごめんねー」と笑って終わりです。
私にだけということはなく皆さんに近いのですが、地元の方は子供の頃から知っていたるので気にならないようです。

やんわりと「距離近いですね、びっくりです、もう少し離れて貰った方が話しやすいかな」「人見知りなんで急に距離つめられると困っちゃうんです、男の人は苦手で」など伝えてますが「大丈夫！俺すぐ仲良くなれるから！」と返されて終わりでした。

今月また飲み会があります。
行かなければ良いのですが町内会の雰囲気的に子供もいないのに欠席はありえない空気です。
なるべく遠くの席を選びますが同年代が少ないこともあり宴会の中盤になると近くに来ます。
ご近所さんとのお付き合いのこともありあまりキツく言えません、本当に辛いです。

こういった方にはなんと言えば辞めてもらえるのでしょうか。