私の声だけ聞き取れない？会話ができない人

職場で主にインカムを使って会話をします。
休憩室や近くにいる場合はその場で会話もできます。
他の人とはインカムでもその場でも普通に会話することができます。

ただ、ひとりだけ返事をしたり話しかけても反応なくその場からいなくなってしまう人がいます。

最初挨拶をした時も、こちらが話しかけてもじっとこちらをみて何も言わずに消えることがあり　周りの人も不思議がっていました。
その人は、職場で嫌なことがあったり苦手な人がいても差別なく話してくれると聞いています。
周りの人に自分がなにか失礼なことをしていないか確認したり、なるべく相手の正面から話しかけることを意識していますが、まともに話せたことがありません。

先日、その人に何度か話しかけても反応がなく　退勤後もその人にサインを貰わなければいけない時に私が横から何度か話しかけても無視されてしまいました。
こちらも1日無視されていたので、3回目に少し大きな声で話しかけましたがそれでも反応がありません。
周りの人がその人になにやってるんだよ！と声をかけて初めてえっ話しかけてたんですか？と言ってくれました。

これはただ嫌われているからでしょうか？
こちらに指示を出す時は普通ですし、私も日頃まともに会話できない分仕事の最低限の質問しか聞かないようにもしています。（その人から返ってきたことはありませんが…）

その人が自分の感情で仕事中に無視したりするようには感じられません、なにか失礼なことをしたから無視されているのでしょうか？
それとも、私の声が相性が悪くてその人には届かないのでしょうか？
その人とのふたりの空間が怖いです、他の人には凄く良くしてもらっています。円満な方法があれば教えてください。