仕事をどんどん渡してくる先輩

職場の先輩が、何かにつけ私に仕事を渡したがります。 男性で残業時間が多い人です。 はじめは快く引き受けていたのですが、 その人は仕事を減らしても、残業時間は全く変わりません。 その理由は ・仕事中にネットを見てばかりいる。 　（私の席からその人の画面が丸見え） ・携帯をいじる。 ・おしゃべりがおおい ・手際が悪い ・周りの人の会話・仕事に常に干渉する 私はヒマをもてあましているわけではなく 仕事中は集中して効率よく進め、できだけ定時に帰ります。 それをいいことに、彼は自分の仕事を私に振り続け この先のことを思うと気が滅入ります。 直属の上司は知っていますが、 その男性は精神的に不安定なので、 注意したりするなどの刺激することを避けていて、 上司に相談しても解決はしない環境です。 昼間、だらだらして残業するのは個人の自由ですが、 遅くまで残っている＝忙しい　ということにして 私の負担が増え続けるであろうことが苦痛です。 なにか、対処法はあるのでしょうか？ または、私の心の持ちようといいますか、 こういう風に考えたら、気持ちが少し楽になるよ というご意見があれば教えてください。 どうぞよろしくお願いします。