派遣社員のことで困っています

私は現在現場系の職場に勤めています。４月から派遣社員の男性（３５歳くらい？）が来るようになったのですが、勤務中でもとにかくダラダラと動いているだけで全く仕事になっていないのです。勤務中でも「勝手に」休憩に行って３０分は出てこない。その休憩を一日に何度も取っているので実質の勤務時間は本当に他の人の半分以下なんです。仕事もいつもいい加減にしかやってくれず、結局他の人がやり直ししています。現場でも他の人からも苦情は出ています。本人に直接注意もしましたが直りません。一度私が上司に「どうにかしてほしい」とお願いしました。でも上司は意に介している様子がないんです。上司も一緒に現場で仕事をしているので、彼の現状は知っているはずなんです。それどころか私に「人のことより自分のことをちゃんとやれ」などと言ってくる始末。それは私だって１００パーセントのミスもなくやっているとは言いませんが、それにしてもひどすぎます。何か彼に会社の秘密でも握られているのではないかと思ってしまいます。どのように対処すればよいでしょうか。