冗談が通じない人だね、と言われて

職場にかなり自信満々の、男性上司がいます。 私の事が嫌いらしく、入社当時毎日のように嫌みを言われました。 私が話すと、すぐに機嫌が悪くなって訳のわからないまま怒鳴られたので、それから上司とは仕事の話しかしなくなりました。 その後、最近になって上司が周囲に「○○さん（私）に嫌われててさ、口も利いてもらえないんだ」と言ってるようです。 入社当時から私と上司の事を知っている先輩が「嫌っているのは△△さん（上司）のほうじゃないですか？○○さんもあれだけ言われて落ち込んでましたよ」と言ったら、その上司は顔を真っ赤にして「冗談も通じないのか！あれから数年経っているのに、まだ根に持っているのか！暗い奴だ」と言っていたとか。 その後、上司からは「○○さん（私）って、根に持つタイプなんだねっ！」と満面の笑顔で言われました。 あれだけ私を落ち込ませて、それが冗談、ブラックジョークだよ、冗談も通じないの？と言われて、挙げ句の果てに根に持つタイプなんて言われて、怖いです。 どうしてそこまで自分を正当化しようとするのでしょうか。 この上司にどう接したら良いか、悩んでいます。