派遣の採用決定後の辞退について教えてください

先日、派遣会社の顔合わせに行ってきました。 企業の方はとても感じがよく、仕事内容も納得できるものでしたが、職場の人数が少なく少々閉鎖的な雰囲気もあり、自分には向かないのではないかという心配がありました。 その企業では直前に同じ派遣会社から派遣した人ですぐに辞めてしまった方がいたという事もあり、顔合わ終了後その場で即答を求められました。 私自身に迷いがあったのですが、企業からも気に入られ、営業の方の強い勧めもあり、契約を結ぶ旨をその場で回答致しました。 しかし、よく考えるとやはり前向きになれません。 また、就業開始予定日以降も平日に通院しなけらばならない事情となり、企業に迷惑をかけるのも嫌だったので派遣会社に平日通院をしなければならなくなったので、辞退したいと伝えたのですが、営業担当者からそれは無理と言われました。 職場の雰囲気が合わない事を正直に言ううべきなのか迷っています。 営業担当の方が少し強引で事情を話にくい所があります。 もし辞退を強く主張した場合、今後はその派遣会社の登録を解除するべきなのでしょうか。 どうか、皆様のお力をお貸しください。