定時にあがると上司が睨みます。

トピを開いて下さり、ありがとうございます。 派遣社員として今年の４月から某企業で働いています。 仕事は忙しい時は残業になりますが、そうでない時は定時で上がれます。 しかし、最近になって定時にあがろうとして「お先に失礼します」と その上司に挨拶すると睨まれたり、「もう帰るの～？」と言われます。 仕事の量が多くて、どうしても残業しなければならなくて私が残っている時、その上司は「早くお風呂に入りたいので、先に帰ります」と言って 帰ったりします。部下（私）が残っているのに帰るなんて、とは思いません。 自分一人で終わらなそうな時は自分から言いますし、上司の好きにして もらって全然良いと思います。 仮に自分が抱えてる仕事を回したいなら はっきり言ってくれればと思うのですが、どう対応すべきでしょうか？ その会社に入る前の顔合わせでは「基本的に残業はありません」と聞いていましたし、前任者も自分の仕事が終われば、定時に上がっていたそうです。 「何か手伝いましょうか？」と言うべきでしょうか？私もなるべくなら定時で上がりたい派なので出来れば避けたいのですが。甘いでしょうか？ ちなみにその上司とは普段普通にコミュニケーションは取っていて、仲が悪いという事はないです。