派遣採用決定後の辞退

倉庫系の派遣の採用連絡が ありました。 その連絡の際に派遣担当者から言われた事が気になり、承諾はしましたが辞退しようか悩んでいます。 職場見学のさい派遣先の会社の専属上司はおらず、派遣担当者との見学になりました。 見学時派遣先の社員に態度を聞いたそうです。 私は普通の態度していたつもりでしたが、派遣担当者のやり取りが私が上司と見ている感じがしない。 終始横柄な態度を感じたと言われました。 「派遣の仕組みを理解をしてないんじゃない？」と言われました。 仕事に就く際は、指導者には 下手に出ることと派遣の担当者に連絡時に言われました。 本人は普通にしていたつもりでしたが、言われた事に ショックを受けました。 色々と考えて結果、迷惑をかける前に辞退しようかと 思っています。 普通に断って大丈夫でしょうか？。