物にあたる先輩

職場に30代中盤の男性がいるのですが、物に八つ当たりをしているのが目立ち、会社の雰囲気がとても悪いです。
上司と意見が食い違うとすぐに怒り、書類やらペン立てやら受話器を置く音が大きく（たぶん相手にもガチャンと切る音が聞こえてる気がします）…最近毎日です。自分も社会に出て早10年、何度か転職しましたが、こんな先輩は初めてです。
職業柄サービス残業が多いのですが、その先輩は残業しないがモットーらしく、定時すぐに帰ります。仕事を楽したいのが見え見えな人で、事あるごとに面倒な仕事はこっちに振ってきます。私は仕事が溜まるのが嫌なので、キリのいいところまで定時後に仕事することがあるのですが（残業代出ません）、定時過ぎても私が帰る準備をしないとその先輩は不機嫌になり、窓を勢いよく閉めてみたり、帰る支度を大きな音を立ててしたりと、こっちが不愉快になります。
別に給与は先輩の方がかなり多いのだし、仕事内容も違うし、先に帰らない後輩がいるからとイライラされても・・・。
こんな先輩にはどう対処したらいいのでしょうか？仕事が途中でも先輩より早く帰るべきですか？※因みに私は帰れる日は定時に帰っています。