最近職場で孤立しています。

23歳会社員女です、長文失礼します。 私が働いている所は自営業のクリ－ニング業者で正社員は私だけでパ－トの女性が3人居て社長夫婦で経営しています。 働き初めて1年ほどたったある日社長と二人になった時に「前から思っていたけどお前かお前の着てる服が臭い」と言われました。いきなり言われたショックで何も言えず結局その場はうやむやになってしまいました、でもその後から二人になるとかなりの頻度で言われるようになりました。 原因はおそらくお風呂掃除に使う洗剤が染みてしまったのだと思います業者用なので臭いもきつめです。現にお風呂掃除で使わなかった服を着て行った時は何も言われません。 それと、冬場は寒いのでコ－トを着て洗剤を使うのでコ－トに染み付いてしまい臭いと言われましたが脱げば何も言われません、でも冬場なので寒いです。 お風呂掃除カビがすごいと壁や天井全てに洗剤かけるので髪にも降り注いできます。洗濯すれば匂い薄まるのですがお風呂掃除に行った後に別の仕事で社長とあったりするので回避出来ません。 でも洗剤の臭いは仕方無いので何も言わずに居たのですがある日アパート掃除の時に私が道具を特に意識せずに変な持ち方をしていた時に社長に「何汚そうに持ってるんだ言っとくけどこの世にお前より汚い奴は居ないからな」と言われその場に居たパ－トさん達にくすくすと笑われてしまいショックで呆然としてしまいました。 これからお風呂掃除した後にまた、臭い、汚いと言われると思うと職場に行くのが嫌になってきました。パ－トさん達は元から社長夫婦と仲が良いのですが私は職場に入ってから知り合ったので肩身がせまいです。もう辞めるしかないのでしょうか？長文すみませんでした。