紹介予定派遣から直雇用なのに憂鬱

45歳、夫あり子供2人です。

1月から紹介予定派遣で働き始め来月から正社員として直接雇用に切り替わります。
将来のことも考え正社員になりたかったのにここ2週間くらい憂鬱で仕方ありません。
田舎の団体で10名ほどのところで派遣とるのは私が初めてです。

派遣会社の担当者は相談事をしても「社員になれば違ってくるから」など紹介料欲しさでプラスのことしか言いません。
ちょうど求人も少ない時期だということもありダラダラここまで来てしまい、
派遣先も私が断るなどとは思っていない様子で5月頭には直接雇用が決まっていました。

はっきり言わなかった自分が一番悪いのですが最近手続きが進む中どんどん憂鬱な気分で不安になってきます。
嫌な理由は
　・朝挨拶してくれない人、私が社員になるのをよく思っていない人がいる
　　　（聞こえよがしになんどかそういう話が聞こえてきました）
　・周りになじめていない、話し相手がいない、会話に入ろうとすると背中を向け　　られる
　・仕事が暇すぎる、来年定年間際までこの状態だと思う
　　（仕事は量があるものをテキパキこなすのが好きなタイプです）
　・課長が気難しい人でいると雰囲気も悪く怖い
などです。

もう断れないのもわかっていますが派遣会社が紹介料を請求するのですぐに辞めるわけにもいきません。
このままの気持ちで正社員になって大丈夫なのかと不安です。
（子供が大学を卒業するまで、あと10年は働きたいですが）
今日も入社前の健康診断で午前中休んだり行動と気持ちが一致しないまま物事が進んでいます。
社員になって慣れてくれば違うのでしょうか？
給料や待遇は良くなるのにわがままですが、派遣先が紹介料を請求してくれば辞めるのは難しいしなど今までの転職とは違う不安ばかり募ります。