コワイって本人に言う人の心理は？

アラフォー♀会社員です。平社員ですが、永く勤めているので、仕事も任され、毎日、充実しています。

私に対して、「怒り顔さんは怖いから～」って笑いながら話してくる人の心理が分からず、悩んでいます。

そう言って来る方は、あまり話をした事がない方や、取引先の方です。ニコニコおっしゃるので、そんなコミュニケーションのとり方があるのかしら？と不満に思いつつも、本当に怖い人だった！と思われるのが嫌で笑いながら「その旨、怒り顔さんに伝えておきますよぉ。」等とふざけて返しています。

仲の良い友達や家族からは、逆に「怒り顔は優しいから～」と言われます。顔は、中山美穂さんや、柴崎コウちゃんに似ていると言われるので、光栄なんですが、黙っていると、話しかけるなオーラが出ているとの事です。

話さないと怖い！と思われるのは子供の頃から自覚していて、だからこそ話し方・笑顔にいつも気遣っています。
誤解されている方に言い訳するのは無理！そもそも誤解されなきゃ良いのだわ！と思い、常に反省し気遣っているつもりです。

以前、親友に「また怖いって言われたの。」と相談したら、「本当に怖いと思う人に怖いって言ってこないと思うよ。」と励ましてもらいました。
怖いと言われる度に、反省したり、その友人の言葉を思い出し、元気を出しています。

今日もまた電話で笑いながら言われたので、しばらく落ち込みました。
取引先の営業の方が
「ご無沙汰してしまってすみません。お近くに伺った際、ご挨拶を！と思うのですが、何しろ怒り顔さんが怖いので、苦手でつい・・あっはっは～」
正直、何で笑っているのか理解できないです。いつもの様に笑いながら、「まだ捕まえて食べたりしませんよ！」なんて返すから喜んでいると思われ、何度も言われるのでしょうか？
どなたかコワイって本人に言う人の心理を教えて下さい。