派遣契約更新、迷っています

今の職場に事務員として派遣され6年目です。
昨年、同職場内で新部署ができ、そちらに異動になりました。

事前に、激務な部署なので新たに事務員3人派遣してもらうが
業務を覚えるまでの半年間位、私には残業をしてもらうことになると打診をされ
主人と主治医（持病があり、派遣元には最初に伝えてあります）に半年ならとＯＫをもらい
了承しました。

あれから1年経ちますが、未だに毎日残業です。昼食を食べる時間すらありません。

理由は、新たに派遣されてきた3人（仮にＡ、Ｂ、Ｃさんとします）のうちのＡ、Ｂさんです。

3人とも基本の仕事はとっくに覚えてますが、Ａさん、Ｂさんはそれ以外の仕事を拒否します。
（もちろん契約範囲内の仕事です。最終的には私のやっている仕事を全員に覚えてもらうことになっています。）
また、ミスが頻出、私語が多い、急な欠勤などで結局、私に仕事がまわってきます。
見かねた上司や派遣元も注意してくれましたが、効き目はありません。

そして先日の面談で、唯一頑張ってくれていたＣさんの退職と新たな人員補充はしないとの話がありました。
つきのわぐまさんだけが頼りだから頑張ってと。

何だか疲れました。　
昔は頼りにされると嬉しくて更に頑張れるタイプでしたが、初めて体も心も動かなくなりました。
毎日お喋り三昧でお昼も１時間しっかり休み、定時で帰る2人を見ていると心が真っ黒になる気がします。

主人は「今すぐ仕事を辞めていいよ。3か月位ゆっくり休みながら次は短時間のパートでも探せばいい。」と
言ってくれますが、老後を考えると収入が減るのは怖いです。
また、この程度で仕事を辞めるなんて甘いのではとも思い、考えがまとまりません。

皆様のご意見いただけると嬉しいです。
お目汚しの文章で申し訳ありませんが宜しくお願いします。