なぜ私だけ？上司に嫌われる

今派遣社員として働いている派遣先で悩んでいます。 派遣先では新規部署の人員として採用され、私を含め６名の新規派遣スタッフと上司である男性社員１名の部署です。 悩んでいるのは上司である男性社員との人間関係です。 その方は２０代後半の若い社員の方で、私が話かけても絶対に目を合わせてくれません（他の人にはちゃんと目を合わせて話してます） 仕事の指示を受ける際も一番後回しにされ、面倒くさそうな態度で声のトーンも不機嫌になり、明らかに他の人に接するのと違う態度で避けられてます。 他の人に接する時は笑顔で気さくな印象なので、仲間の人達にとってはその上司は好評判です。 第一印象の時点から避けられていた印象だったので、私の容姿が嫌いなのかも知れません。。 自分で言うのも変ですが人に嫌悪感を与える様な容姿では無いと思うのですが、 仕事でミスをした等他に嫌われる理由が思い浮かばず、派遣先を変えた方が良いのか悩んでます。 仕事内容や条件は気に入っているので辞めたく無いですが、嫌われている理由が不明だし関係を修復できそうも無い気がします。 皆さんは無条件に職場で嫌われる事ってありましたか？