派遣から直接雇用で

40代派遣社員です。 派遣先から直接雇用（契約社員）の話をいただいておりますが、迷っています。 実は今勤務している会社は新卒で入社した会社です。 新卒時に退職した理由は結婚です。 その後、同業他社で正社員として働いていましたが、社屋移転で通勤しきれず（保育園の迎えに間に合わず）派遣社員になり現在の職場に派遣されております。 退職後に社名が変わったり事務所が移転していたため、自分が新卒で入社した会社と知らずに派遣されておりました。 派遣が決定して、自分用のパソコンを貸与された後にイントラネットを見て気付きました。 その後、本社やほかの事務所から出張等でかつての先輩や同期と職場でばったり会い、社内の人たちの知るところとなってしまいました。 もう40代なので同期は管理職になっている人が多数います。 「今は派遣社員なのに○○部長の同期だという事をカサに着て巾を利かせている」 と陰口を言われていることを知ったのは派遣されてから1年くらいたったころです。 慣れた仕事ですし、仕事内容や社風もわかっているので、できれば直接雇用していただき今の仕事を続けたいと思っています。 でも、私が社内に居続けることを望んでいない人がいる事を知っていて、直接雇用の話を進めてしまい、職場でいやな思いをし、退職する、のような流れにならないか不安でなりません。 住宅ローンが20年以上残っています。夫は自営業のためローンが組めなかったので私自身の借金となっており、ローンのためにも働かないという選択肢はありません。 同じような悩みを持っている方はいらっしゃいませんか？ またはかつては同じ悩みを持っていたがこうやって解決したよ、というお話があったら伺いたいです。