仕事場で苦手な人がいる

今の仕事場で、どうしても苦手な人がいます。
人が一生懸命仕事を少しでも覚えようと努力してるのに、ひどいことばっかり言ってきます。その言っているひどいことが仕事に関わるものなら、いくらでも耐えれます。だって、仕事ってのはそんな甘いものじゃないんだから、上司から言われるの当たり前。でも、自分のことを否定するようなことばっか言ってきます。
その人が、お互いのことが嫌い、そのことがお互いそう思ってる。
だから、普段その人は自分に対して、言葉がとげとげしくなるのも、わかる。（人間関係において、合う人と合わない人とて出でくると思ったから）でも、もう限界です。
この前仕事に行ってきて、そろそろ自分の仕事が終わるごろに、その人に、話かけたわけじゃないのに、その人に「休憩３回行かせたからって、調子のってんじゃないよ！」って言われた。ムカつきました！！
自分が何もその人に言ってないのに、別に、休憩行かせてくださいってお願いしてたわけじゃないのに、あんたがいけって言ったから、休憩に行ったじゃんと思いました。
これは、自分の思い込みでしょうか？それとも、その人の言ってる事が間違っているのでしょうか！？