バイト先での苦手な人

こんにちは。 主人の仕事の都合で他県に引っ越しをし、とりあえず始めた短期バイトでの悩みを聞いて下さい。 短期バイト先は主に事務仕事に分類されるお仕事なのですが、最近入ってきた20代前半の男性が苦手で悩んでいます。 苦手な主な理由としては、甘い香水をつけている、バイト先とはいえ短パンで出勤している、挨拶をしても無愛想な点です。 甘い香水に胸焼けするので、あまり近づかないように避けて仕事しているとだんだん相手にも伝わったのか、相手も私にはあまり近付いてはきません。 そしてこの前、私にこの日は出勤するのか聞かれたことがあり、相手も私と同じ出勤の日を回避したいのかなと思いました。 なんだか悪循環が出来てしまってるし、三人で組む作業をするのでその人を避けるにも限界があるしで、悩んでいます。 職場には男性も多数在籍していますが、どなたもカジュアルな服装とはいえ短パンではありません。女性もスカートの方はおらずパンツスタイルです。職場の雰囲気的にはホテルのフロントのような感じです。 しかし誰も香水や短パンについて触れないので私の感覚がきっと神経質なのだと思います。 シフトを避けようにもその人は週4〜5入ってるので避けにくく、私のワガママでその人と一緒には入りたくないと相談しにくいです。 退職も検討していますが、私の考えは甘いでしょうか？