カビの可能性が高いと思います。

カビキラーで、落ちたか落ちないかは、カビが表面のみか、奥まで進入しているかによるでしょう。
奥まで進入してしまった箇所は、カビキラーを吹きかけその上からラップをし、
乾燥を防ぎ、長時間そのままの状態にしておきます。
他には、カビキラージェル状というのがあって、こちらの方が流れにくいので、
酷い場合はこちらがお勧めです。

長時間そのままにしておいても消えない場合、
黒ずみを除去するのは難しいと思います。

『ゴムパッキン専用カビキラー』というジェルタイプの物があり、比較的良く落とせます。

それで落ちなければ、カビの菌は死んでいても色素が残った状態です。
元通りの色に戻すのは難しいです。

因みにカビキラーも塩素です。塩素以上にカビに有効な物は無いんじゃないかな。

カビは落とすより、生えないようにする方が簡単です。

ユニットバスは使用後マイクロファイバークロスで完全に水を拭き取っています。

台所もカビそうな所はアルコール(カビに効果あり)クロスでこまめに拭きます。
アルコールは溶剤なので油汚れもさっぱりしますよ。