しつこいお誘いの断り方

最近職場の男性から会うたびにしつこく
飲みに行こうと誘われるようになり
とても苦痛になっています。最初お誘いを受けた時は、
他の社員の人もいる前だったので
あ～みんなでいくなら是非などと
思っていたのですが、よく話しかけられるし、
妙な視線を感じたりで変な人だな、苦手だな
生理的に無理と思うようになり、
絶対に行きたくないと思っています。
そこで、意を決して行きません用事があります
と結構きっぱりと断っているにもかかわらず、
誘われ続けています。私的には隙があるとは
思えませんし、やめてくださいね的な態度は
とっているつもりです。すれ違っても目は見ないとか、
絶対に話しかけないなど。
私と相手の波長が合わず、向こうには私がいやなのが
伝わっていないような気もします。
（普通なら絶対にあきらめると思うのですが、、、）
こういう空気読めない系の
男性にはどうしたら誘われなくなりますか？
ちょっと怖いなとおもっているのは、
先日お誘いをお断りした時にやや態度が変化し、
今後いやがらせを受けそうだな～
と感じました。相手はどうやら
心がとても小さい男のようです。
このようなタイプの勘違い男をうまく断る、
また逃げ切るにはどうしたらいいでしょうか？
アドバイスお願いいたします。