気が付いた人がやればいい仕事って毎回だとストレスです。

職場の同僚で30代後半の男性がいます。
同じ事務職で席が隣同士なのですが、どちらが処理しても良い作業を決してやろうとしません。
例えば、他の課の人が私達のところに書類を持って来ると見向きもせず受け取るのはいつも私です。
さらに、私が席を外して戻って来ると、私と彼の中間あたりに書類が置いたままになっています。お願いしますと声は掛けたが受け取る様子がなかったので置いていったようです。その後も私が処理しない限り何時間でもずっとそのままなのです。
何度か「席にいたのだったらきちんと処理してください」と伝えましましたが、自分は受け取ってはいないと言うような返答をします。彼の言い分は、名指しで呼ばれ、自分がそれに反応し受け取れば処理すると言うことなのです。
この考え方はおかしいですよね？
処理自体は簡単に終わることなので周りから見れば、そんなことどっちがやってもいいと思うのでしょうが、その態度が許せません。
上司に相談しても良いでしょうか？