職場のある地域の雰囲気が苦手

関西のある場所に引越してきました。 住んでいる場所はとても住みやすいと感じています。 その住んでいる場所とは別の地域で、 良い求人を見つけパートで採用されました。 地下鉄で通っているのですが、 地下鉄を降りると、駅は人が少なく、 その割に変わった人を見かける頻度が高い気がしています。 金髪で腕にびっしりタトゥーが入ったグループや、独り言を呟きながらゴミ箱を漁る中年の男性、怒鳴りながら横切る高齢者。 街の小さな子どもたちも奇抜な髪色の子を何人も見かけます。 職場も客層が良くないなという片鱗が目につくようになりました。 採用前に近くに住む人から、 治安があまり良くないかも…と濁された言い方をされたのですが、 土地勘がない私は、住むわけじゃないし…とあまり深く考えずに、決めてしまいました。 今はその職場に行くのが毎日重い気持ちになります。 職場に…というよりその地域に行くのがというのが正しいです。 こんなことで退職するのはおかしいでしょうか。 今まで早期退職をしたことがないので不安です。