水着で事務という根拠のない噂で怒られました。

スポーツクラブで水泳インストラクターを週３回しています。 レッスン以外の時間は事務所にて事務仕事をしています。 先日、支配人より上司を通して 「水着姿で事務仕事をしていた。常識がない」 と注意を受けました。 水着姿に自信があるわけでもなし、そんな事をするはずがありません。 全く身に覚えのない私は、すぐに否定をし、支配人に直接聞きに行きました。 すると支配人は、「人づてに聞いた」とだけいい、明らかにしてくれません。 納得のいかない私はいつどこで聞いたのか尋ねましたが「人づて」とだけで詳しく言わないどころか、頑張りが足らないだの云々と別の事に話をすりかえてしまうのです。 私は水着で事務という全く根拠のないことに驚きショックを受けました。 もし本当に人づてに聞いたと言うなら、噂話だけで真偽も正さず注意するのにも納得いきませんし、言いつけた人がいるとしたら、根も葉もない事実の告口をした人を注意するべきです。 話をすり替えてしまうなんて事も腹が立ちます。 支配人としっかりと話し合って事の真実をわかってほしいと思っています。 しかし、このままでは取り合ってもらえそうにありません。 今後どのように進めていったらいいでしょうか。