紹介予定派遣を辞退して前職へ直接雇用

現在紹介予定派遣で働いて2ヶ月になります。 3ヶ月の派遣期間後、契約社員登用の予定ですが、辞退しようか悩んでおります。 仕事は新規事業に関わらせていただき、はじめての業種で動きもあるので新鮮さを感じます。 しかし日系のお堅い会社で、会社の雰囲気に息苦しさを感じてしまいます。また、新規事業のため主に上司と私の2人だけですが、あまり相性が合わないこともしんどいです。 契約社員になったあとも時給というのも、踏ん切りがつかない原因のひとつです。 そんな時、前職で派遣勤務していた会社の別部署での求人募集があり、お声をかけていただきました。前職は外資で会社の雰囲気もすごく好きだったのですが、業務内容が合わないことと、派遣から直接契約になる方がいないことから長く働ける環境を求め転職しました。(2年半勤務しました) お声をかけていただいた部署は動きもあり、憧れていた部署でもあります。 以上のことを正直に派遣元に伝え、契約更新を辞退したい旨を伝えたところ、派遣先との相談になりますと言われました。(上司と合わないことは伝えていません) 派遣契約期間が最長6ヶ月なので、後任が決まるまで3ヶ月以上勤務しなければいけなくなることもあるのでしょうか？ 正直、辞めたい旨を伝えたあとは気まずいし、長く働きたくありません。 それと、前職に直接雇用されることは、紹介予定派遣を断る理由として不適切なのでしょうか？ 辞めたい気持ちのまま、新しい仕事を教わるのもつらいです。