転職すべきか

去年の4月に新卒で就職した会社（中小企業）を退職しようと考えています。

現在は1年目の営業として上司について仕事をしていますが、上司（30代後半）が感情的な人で舌打ちや文句が当たり前。
時には取引先相手に電話で怒鳴りを上げる事もあります。
非常に口が悪く短気で、自身の感情を溜めずにその場ですぐに発散するタイプの人です。
私に対しては気を使っているのか、怒りをぶつけられた事はありませんが、1日中隣にいる為、自分に向けられた言動でなくても精神的にストレスが溜まり、最近は上司の事を人として見限っています。

仕事が繁盛期な事もあり夜遅くまでの残業＆その時間分、ストレスの原因の上司が横にいる時間も増える日々に心がポッキリ折れてしまい退職を決意しました。

上司との関係の他の退職理由としては、営業職は固定残業代でそれ以上は支払われない（元々は事務として入社し残業代は支払われていたが、営業に変わった最初の給料日前に固定残業代になると知った）、
直属の上司以外の人間関係は良好だが給料面等、待遇の不満があります。

既に会社には退職の意思を伝えていますが、
「この位の昇給を考えていて、不満があれば出来る限り改善するから考えなおして欲しい
。改めて話をしましょう」と引き留められました。

1年目の昇給額としては大きい額でしたが、この会社で仕事を続けていける気が全く無いので辞めるつもりでいます。

私は社会人として耐性がなさすぎるでしょうか？
感情的な上司なんて何処にでも居て、それを我慢して働く事が当たり前なのでしょうか？
人生の先輩方の客観的なご意見をお聞かせ願います。