空気が読めない？

職場の５０代後半の男性（既婚）ですが、空気が読めないのか、もしくは空気が読めないフリをしているのか、気持ち悪くて困っています。 私達女性だけのプライベートな飲み会に、一人男性でも一緒に参加したがります。 正直、この男性、人への気遣いができず、セクハラ発言連発したり、人が気にしている欠点など言ってくる。 男性のくせに、他人の情報を知りたがる。（年収、持ち家か賃貸か、家族構成、休日の過ごし方一部始終聞き、飲みに行ったと言うと、誰と行ったのか誰の奢りか割り勘か等、うんざりするくらい質問してきます） 正直、私的には（こんなこと言うのは大変失礼なんですが）、元々、この男性の容姿も体臭も、生理的に受け付けないタイプでしたが、一緒の職場で人数も少ない部署なので、表面上仲良くして我慢してきました。 でも、一応、何度か、「飲み会は女子だけでやるので、今回は遠慮してください」と断ったりしています。 普通の人なら、察してくれると思っていました。 でも、この人、ダメなんです。 わざとなのか、やたら一緒に飲みに行きたがります。 私達から誘うことはないのですが、向こうが何度も誘ってくるので、さすがに何回かに１回は付き合う感じになるのです。 一緒に居酒屋に行っても、ひたすら自分だけたくさん食べ飲み、人の話をこそこそ聞いてるんです。 女性の中に男性一人、誰よりもたくさん飲み食いしておいて、きっちり割り勘、おまけに、こいつのせいで女子トークも盛り上がらない。 こういう人には、どうやったら、仕事場以外で付き合わないようにできますか？ 　 もちろん、はっきり断らない私に問題があると思いますが、かなり嫌いアピールしているつもりですが、全く気付かないんです。