派遣の担当者にイライラしてしまいます

工場の2交替で派遣社員として働いています。 10月から急に体調を崩し、仕事中に主に目眩、嘔吐で欠勤や早退することが増えました。 病院に行っても病気が見つかることはなく、自律神経失調症だろうと言われてます。 薬を飲んでもすぐには良くならず、夜勤がチリツモで体が壊れてしまったんだと思います。 11月に入ってからは1度も出勤できず、このままでは休んでいることへの罪悪感で精神的にも疲れるし、ゆっくり療養しようと退職を申し出しました。 しかし、昼勤のみの仕事が他にあるからと引き止められました。 私はその異動まで出勤できるか分からないし、昼勤になったとしてもすぐ体調は良くならない、結局休んでばっかりでは迷惑かけるよな…と思い1度断りました。 異動までゆっくり休んでてもらっていいし、もしそれでも体調悪くなるのであれば仕方ないので、退職を考えるのはそれからにしてくださいませんか。と強く言われたので折れました。 ですがそれから毎朝電話がかかってきて、今日は来ないのかと出勤を煽られ、私も今の現場に最後の挨拶をしたかったので、体調は万全ではありませんでしたが出勤しました。 昼過ぎにいつものめまいがあり、数回吐いてしまいました。 現場からトイレまでとても遠く、気分の悪さも波がありなかなか戻れずにいたら、現場管理者から早退を言われそのまま帰ることにしました。 それを担当者に報告すると、あからさまに態度が悪くなり、「異動は強くお願いして、こちらの立場もあるからこれからは休まないで」と強い口調で言われました。 自分が1番行きたいと思っている、でももし倒れたりしたら就業先に大きな迷惑がかかると悩んでいることを知ってるのに…。 どう思いますか？ 月曜日から異動先ですが担当者と顔を合わせるのが嫌で憂鬱です。 我慢するのが大人なんでしょうけど…私も社会人にしては甘えてますかね？意見が欲しいです。