ボディタッチをする人の心理（やめて欲しい）

私はボディタッチが苦手で、急に体に触れられるのは特に苦手です。
異性はもちろん、同性から触れられるのもダメです。

でも何故か、ボディタッチされることが多くて困っています。（私からは一切ボディタッチはしません。）
他の人よりも、触れられることが多い気がします。以前試しに数えたことがあるのですが、1日のうちに知人や職場の同僚合わせて20人以上からボディタッチされていました。
初対面の人や通りすがりの人にもよく触れられることがある気がします。

触るといっても基本的には頭や腕、肩や背中くらいなので、私が神経質過ぎるのかも、と思う一方で、私を勝手に触ってもいい対象と見ているのではないかと思うと侮辱されている感もあり更にイヤに感じます。
ボディタッチをしてくる人は、どういう気持で体に触れてくるのでしょうか。この人には触れても大丈夫とか選別したりするのでしょうか。
角が立たない方法でやめさせたいのですが、触らないでくださいとストレートに言ってしまっても大丈夫でしょうか。
（付き合いの長い友人には苦手なことを伝えて理解してもらっているのですが、そうでない人たちには関係が悪くなるかなと思い言っていません。）