ストーカー呼ばわり

とある施設で働いています。女性です。 仲が良かった同僚にストーカー呼ばわりされ、腹立たしくてたまりません。 半年前ぐらいから、仲良くなり、遊びにも行くようになりました。 私は、ただ単に同僚として、付き合いのつもりでラインや電話等をしていました。 これは、私がしようと言って始めた訳でもありませんが、突然、無視、になりました。 思い当たる節はあります。彼が友達と思っている元同僚の彼女のことを悪く言った。 ここからです。 1度は私が、電話を切った形になりました。ただ単に電波状態が悪くなった為です。 その次の日以降、何を言っても、無視です。 彼と私は、彼の恋や仕事の悩み等を一方的に聞き、助言などをしていた程度です。 はっきり言って、彼とどうこうなろうとか、いう気持ちは一切ありませんでしたが、 一方的に無視され、その原因を聞き出そうとした事があります。 問題は、ここからです。 ２人体制で、夜番を一緒にすることがあり、私共は車通勤で、車に霜が降り、なかなか運転できず、 駐車場にいました。いつも、私の方が先に駐車場から先に出ます。その日もそうでした。 が、次の日、会社に行ったら、 「彼女、俺のこと、ストーカーしてさ、、」と言っていたそうです。 別の同僚に言われました。 私はその時 「は？」と思い、口に出してしまった程です。 「第一、私の方が、先に出てるのに、どうやって、できるの？」と言いました。 それから、私は、出勤できずに、上司には少し言いました。 私は、そんな事を言われ、辞めようと思い、上司に伝えていますが、 出勤するように言われています。 その時、話し合いの場を設ける予定です。 腹立たしいのが、彼のこの仕打ちと言葉です。 身に覚えもなく、このような事を言われたら、どうしたらいいですか？