顔合わせ後の揺らぎ

先日紹介予定派遣の顔合わせに行って参りました。3ヶ月派遣として、その後社員への紹介予定派遣です。

顔合わせに行くまではやる気に満ちており現在の勤め先も退職する予定でいたのですが、顔合わせでの面接内容、社風に気持ちが揺らいでいる状態です。　
所属勤務地は自宅からかなり近い事、今まで挑戦した事のない業種であった事が魅力であったんですが。
面接では社員登用後勤務地が変わる可能性がある事、さらに業種も今現在のキャリアを生かして同業種になる可能性がある事を聞かされました。
社風も(私が所属する予定の部署ですが)かなり年配の男性のみでした。こちらにも不安を感じ心の片隅で落ちていればいいなぁと思ってしまう始末です。
社会人として一度やると決めた事を蔑ろにするなんてとんでもない事だとは承知しております。
ですが、このまま採用になった場合どう気持ちの整理をつけるべきかとても悩んでいます。　
もし辞退する気持ちでいる場合は顔合わせの結果が出る前に申し出るべきでしょうか？