自信のもてない派遣先はやめたほうがいい？

先日、正社員で勤めていた会社を辞めました。 しばらく家でのんびりしようと思っていたのですが、家にいるだけというのが非常に苦痛で、前職と同じ職種の仕事に応募しました。(派遣・長期) 職場見学をしてみて、長期で働くのが少し不安になった(職場環境が今までの所と違っていた・女性ばかりの職場だった)ので、 派遣会社の方に「少し考えさせて下さい」と言ったら、 「とりあえず1年やってみようくらいの気持ちでいいですよ」 と言われたので、応募は取り消さずそのままにしました。 その後もう一度、職場に出向き面接などがあったのですが 不安な気持ちが消えません。 短期なら、入って多少嫌なことがあってもその期間だけ頑張れば・・・と思えますが、長期ではそういうわけにもいきません。 入ってすぐ辞めたいということになればそれこそ迷惑の極みです。 とりさげるなら今のうち、と思うのですが・・・。 こんなとき、皆さんならどうされますか？