不倫してないのに決めつけられた

初めまして相談です。  今日、仕事後に職場の上司に呼び出され、他の店舗の上司（自分とは過去に業務が２、３回しか一緒になってません）と不倫関係にあるのではないかと言われました。 不倫どころか、連絡先も知りませんし、どこに住んでるかも知りません。  不倫してないと言いましたが、いつも休み一緒なんだよねとか、こないだ見つめ合ってたよね。とか言われました。  こういう場合はどうしたら疑いが晴れるのでしょうか、、  何度も言いますが、不倫してませんし、プライベートでも一度も会ったことは有りません。 何もないのに、濡れ衣を着せられて悔しくて動悸が止まりません。