ボディタッチする必要あるの？

職場の上司なのですが、なにかを伝えたかったり指摘したかったりするとき、後ろから声をかけてくるのと同時に必ず背中をバンバンたたいたり、腕を掴んでくるのです。
もちろん上司自身に悪気があるわけではなく、一種のクセなのでしょうが(無意識だとおもいます）、
私はそれがかなり不快です。
「ツンツン」とついてくるくらいならいいですが、後ろからいきなり来て突然ある程度強い力で体を刺激されたら、びくっとなりませんか？
私は神経質すぎますか？ちなみに、私・上司とも女性です。いわゆるセクハラという解釈ではありません。
また暴力とまでは当然いかない範囲＝パワハラとまでは言えないですが、｢触れる｣を越した力度合いです。
(上司は力があるので、ご本人からすると触れる、くらいかもしれませんが)

思えば、昔の職場の同僚も同じクセがあり、声をかけると同時に背中をバンバンとたたいてくるタイプでした。その不快感が残っているのかもしれません。
声をかけたいなら、ボディタッチしなくても言葉だけで聞こえるんだけど、とつい思ってしまいます。上司は感情的なタイプで、はっきり嫌ですといいにくいタイプです。

同じような感覚を持った方っていらっしゃいますか？