好き嫌いが激しい

私は無口な方で、仕事中でも無駄話はほとんどしません。しかし回りの人は無駄話をしながら、ダラダラ仕事をしています。
職場の雰囲気は割と気さくな感じなんで、上司も誰も注意をしません。私には幸い、誰も話し掛けて来ないからいいのですが、気分屋の人がご機嫌が良い時は隣の同僚に話し掛けてばかりいます。前にいる私はその話声を聞くだけで、イライラします。話し方もご機嫌をとったような、愛想笑いばかりしています。仕事には集中しているつもりですが、聞こえてしまいます。元々私には苦手意識が強い人達で、距離もおいているから気になってしまうのでしょうが、今はそれが凄いストレスになっています。その人達は仕事中も寝てる時があり、仕事量は私より少ないのに残業もしています。そんな人達を見て見ぬふりをしている職場が嫌で、退職を考えています。前に上司に話しましたが、何も解決していません。職場だから色々な人がいて当たり前で、それを上手くこなして行くべきなのでしょう。私が思うような職場は無いと思いますが、今はストレスでおしつぶされそうです。退職理由はこれだけでは有りませが、私は自分自身の気持ちを大切にしたいと考えています。きっと皆さんはそんなの甘いと言われると思いますが、私には深刻なんです。やはり私が変ですか？