肩をたたくのは、ボディタッチと同じですか？

先日、サークルの男性を呼ぶときに肩をたたきました。 私がその男性の名前をつい忘れてしまって、すみませんと呼んでも気付かれず...ノックのようにたたけば良かったのを、手のひらで（冗談のつもりで、わりと思いっきり）たたきました。 今までは名字で呼ばれることが多かったのですが、それから、なんとなくその人からのスキンシップ（肩をたたく）や声をかけられることがが多くて、嫌な人でもなく好きな人でもないのですが、ちょっと困っています。 昨日も、いきなり腕を掴まれて「こっち」と言われ引っ張られました。 男性はサークルのサブボスのような立場で、職場の取引先の社員でもあります。無下にできません（泣）どうしたら良いでしょうか。