自分の選択は間違いだったのか？

初投稿いたします。長文です。お願いします。
年齢は３３歳男性・独身です。
現在某大手電気メーカーの半導体工場にて派遣社員をしています。

１０月頃にこの半導体工場の正社員試験を受けまして合格を頂き、同時に受けていた某大手牛丼チェーン店の工場正社員の面接を受け、こちらも合格を頂きました。

迷って末に半導体工場の正社員は辞退して、牛丼チェーンの工場正社員になることを選びました。
正直有給や給与と言った待遇面は半導体工場の方が上でした。パスした理由については

1今の工場は直の先輩社員や他工程の正社員と気が合わない上に強気な人が多く、自信がないこと(自身が非常に気が弱いので)

2正社員になると人員がいないと言う理由で工程の中でも最もブラックと言われる箇所に異動になる可能性が有る(派遣で１ヶ月以内で辞める人間が後を断たず、工程異動のお願いも絶えません)

3工程の異動は出来ても班の異動は困難
(この工場は２交代制で３つの班に別れており、基本的に上からの声が掛からない限り班変更は不可とのこと)

4かつて私は１０年ほど介護の仕事をしておりまして、その後は某大手自動車会社の子会社にて派遣社員として９ヶ月働いていたのですが、その時には職員同士で定期的な話し合いが有り、そこで業務の改善や自身の言いたいこと等を話す事が有りました。
また、業務終了後に上司や工程のリーダー等に仕事の事や人間関係などでお話しする機会もたまに有り、その時に自身の事などを相談したりしたのですが、今の工場はそういう事が一切無いこと(地味にこれが一番大きかったと思います)

半導体工場の方々は「何故断ったのか？」とか「後に絶対後悔する」という言葉が多くツラいです。

自分の選択は誤ったのでしょうか？
職歴的にも今後の転職は厳しいと思ったのでこの判断を行ったのですが・・・

皆さんの意見を聞きたいです。お願い致します。