個人経営の会社を辞めにくい状況

３０代主婦です。
週３～４日、１日４時間勤務の派遣ですが、勤務時間が短く稼ぎが少ないです。
パートの仕事が決まらない時に来た仕事のため不本意な就労です。

勤務のない日に仕事を探し、週５日のパート（土曜隔週）が決まりましたがすんなり辞める事ができません。
パートの仕事が上がり次第、現職の職場へ出向き１日数時間、週２日でいいので来て欲しいと言われてます。
当然、担当の営業に来週相談するつもりですが、私の仕事をする社員はおらず、私しか分からない仕事ばかりなため、それでは会社も困るだろうから、先に社長に増員なり引き継ぎなりを相談したらば上記の旨を言われたのです。
Ｗワークはとてもできません。
私一人では責任の重い仕事が増え、抜け出したいのです。
社長は私に名刺を作ろうとしています。肩書きも「長」がつく名刺です。
私に顧客からの問い合わせ、６～７ケタの契約金の窓口役を一気に担当させようとしています。
実際、請求書の苦情が来、社長は私に同席を求めて顧客に説明し、社長一人では決してしません。
そこまで信頼しているのかどうかは別として、社長は派遣の意味もよく分からないようです。
派遣での人材は必要ですか？とたまたま営業が来たために契約し、私がやってきたらしいのです。
最近は顧客の獲得に外へ営業もさせられています。
実は新しいパート先は近所の会社です、しか言っていません。
社名を言うと大喜びで、じゃあ会社のパンフを置いてきて、とか、そこの担当者に面会できるよう設定して、とか私にパイプ役をさせようとし、私を利用しようとするのが目に見えているからです。
そんな為に新しい仕事を見つけた訳ではないからです。
派遣会社にもその旨を言って伏せ、派遣登録も今後抹消するつもりです。
でもすんなりいくかどうか心配で悩んでいます・・・