派遣の担当者について

私は派遣で働いているのですが
ふと疑問に思ったので質問させていただきます。
派遣が体調不良などで当日欠勤すると
まず担当者に電話して、担当者が派遣先に休みの連絡をします。
その時、休む人が重なりこのままでは仕事がまわせないという状態になったら
それは派遣先側でどうにかするのが正しいのでしょうか？
それとも、休んだ派遣の代わりに
担当者が仕事に出ろと言われたら
その担当者はでなければいけないのでしょうか？（自分の勤務時間外の場合。例えば夜勤とか）
この場合、断ることは可能ですか？
昔、休んだ派遣の代わりに出勤した担当者がいると噂で聞いたことがあったので
本当かどうかは分かりませんが気になったので質問させていただきました。