接客業ですが・・・

お客さんなので邪険にできないのですが、苦手に感じてる人に話しかけられて困っています。というか私が心が狭いのかもしれませんが必要以上に話したくないのです。
といってもふつうに対応（レジ等でお金をもらいおつりがあるときは渡す）してます。つっけんどんにおつりを渡したりとか挨拶をしないとかしてません。割とレジが混むときに来られることが多く、次の人が待ってるのに話しかけられることに戸惑いを覚えます。話の内容は私のネームを見て「○○さ～ん」と呼び、困ってる顔を見て面白がるようなそぶりをする…という感じです。そしてなかなか名前を覚えれなくて…ということを独り言のように言ってますが、覚えてもらわなくてかまわないし。申し訳ないけどそれ以上何を話しすることがあるのかわかりません。ちなみに私は主婦パートでお客さんはいつもだいたいアイスクリームを１個買うか２００円前後の食べ物を買う70ぐらいの人です。おじいさんに冷たいと思われるかもしれませんが、昔60代ぐらいの人に追いかけられたことがありトラウマがあります。
私に執着しないでほしいです。どう対応するべきでしょうか？