派遣、契約内容と異なる、更新するかどうか迷ってます。

2月から派遣で働き始めました。働き始めてすぐに、説明されていた契約上の仕事以外に、泊まり込みの研修や出席必須の懇親会（時間外）があることがわかりました。私は体調に不安があるので、仕事の紹介があった際に、まず外出はないことを確認しましたが、どうやら派遣会社も研修があることを知らなかったようです。

就業4日目に派遣会社に相談しましたが、営業担当者はきちんと私の話を聴くことはなく、ただ「契約にないものに出る必要はない」と、何を悩む必要があるのかと、こっちが怒られた気持ちになりました。そして、派遣会社から派遣先にこのことについて話すのは、実際に具体的に研修の話がまだ出てないので、私の希望から次の更新の話の出るタイミングまで待ってもらうことにしました。

一か月がたち、更新有無の希望を派遣会社に連絡する時期がきました。「契約内容と異なる」ので更新しない理由にはなるのですが、本当はそのことよりも、会社の雰囲気に馴染めない、電話が非常に多く電話の苦手な私にはきつい、その上、自分のメインワーク以外に部署全体の仕事のおおまかな内容を理解し電話で応対しないといけない、多くいる派遣社員と馴染めない、という理由から辞めたいのです。

ただ、仕事の引継ぎは非常に丁寧にしてもらっていて、仕事の要領もつかめてきたし、馴染めてはいないけど人間関係は悪くはありません。
社員さんや同じ派遣社員の人からの気遣いもありますし、情的に辞めづらい気持ちがあります。それに、更新しないことが派遣先に伝わった後の1か月～2か月間、まだまだわからないことがあるのに聞きづらいし、居ずらくなりそうです。

でも本心は辞めたい。辞める場合でも、更新しない理由には、ずるい考えだけど「契約内容と異なる」点だけを言った方がいいのかと思いますが。このような場合、みなさんはどうしますか。