短期の派遣、辞めたいです。

タイトルの通りです。
短期のお仕事のみ、同じ派遣会社で過去数回就業しています。

今回の仕事内容：問題なし　

当然の事ながら行って初めて、高層階での勤務と判明。
数日は我慢し出社するも、頭痛・耳鳴り・眩暈がひどく市販薬もあまり効きません。
病院にもかかりましたが、気圧に弱い体質らしく、薬での改善は見込めないとの事。
念のため診断書を取りました。

派遣先にも迷惑がかかるので退職したいのですが、派遣の担当が首を縦に振ってくれず。
現場には上記そのまま申告済。今後の就業について現場は変わらない事、仕事の継続は困難ではないか？と懸念されている様子。もっともだと思います。
私自身、出社するたびに薬を飲んでだましだまし働いても、契期満了まで耐えられそうにありません。

派遣担当者が【こういう方がいるので欠勤・休憩はさみつつ勤務させてください。】
というような話をしたとのことですが、他のスタッフからしてもいい気はしないでしょうし、実際現場がそのように動いてくれるとは思えません。
結婚を機に退職しましたが、現在の派遣先で別部署ですが数年前、社員として勤務しており社風は何となくわかるので。

派遣会社にどのように伝えるのが良いのでしょうか。
良い人で終わりたい、とは思いませんし、次回の紹介も希望はしていません。

契期途中での退職や体調不良が原因での退職が初めてで、どのように説明するのが一番良いのか悩みます。皆様のご意見お聞かせください。