工場系の派遣の職場見学について

今仕事がなくて困っている30代、独身の女です。 実家住まいです。 軽い精神疾患を持っているため、長期でのオフィスワークは難しい感じです。 あと、家が微妙な田舎で人よりすぐれているスキルもないため、仕事の案件も工場系ばかりです。 派遣経験はあるのですが、短期オフィスワークか単発受付のようなものしかありません。それも今現在は選択肢がほとんどないです。 それで、工場のお仕事をしてみようと思い応募したら職場見学に行くことになりました。 でも、メールでのお仕事内容と実際営業担当から電話で聞いた内容が微妙に違うし、魚をおろす作業もあるとのことで、自分には経験ないので難しいかな？と思ったのですが、営業の方が「実際見てみないとわからないこともあるかと思いますので…」と言うので「じゃあ…」という感じで職場見学に行くことになりました。 就業場所は駅からバスとのことでしたが、駅まで営業の人が車で迎えに来てくれることになっています。 そこまでしてもらって、職場見学に行って、「やっぱり自分には難しそうだから…」という理由で断るのってアリですか？ 電話の時に自分には難しそうだな、と思った時点で断っておいた方が良かったかな。 これからでも職場見学断ろうかと悩んでいるところです。 アドバイス頂けたらありがたいです。