仕事を押し付けられます

現在、部員が体調不良による長期休暇中で、その部員の仕事をすべて引き継ぎました。 部下一人と派遣社員はいるのですが、どちらも子供がいて、残業できないと言って5時半には帰っていきます。 毎日一人で9時まで仕事をし、土日も出勤している状態が3ヶ月続き、体中が痛く、痛み止めを注射しながら仕事をしていました。 ようやく、最近仕事が一段落して、定時に帰れるようになった二日目に、仕事も一段落したようだから、新しい仕事を担当してほしいと言われました。 上司達は、私に無理をさせて申し訳ないと謝り、休める時にゆっくり休んでくださいとか、帰れるときは早く帰ってと言っていたにも関わらず、休む間もなく、次の仕事を振ってきました。部下にも仕事を振る様にと言われたのですが、部下は残業ができず、また以前に何度か仕事を振るとパニックを起こし、とても面倒な状態になり、その度に会議室に呼ばれ、何時間も仕事ができない状態になった為、部下にもおびえながら仕事をしています。 今までにも、業務改善をして定時に帰れるようになっても、手が空いてそうだからと言って、新しい仕事を振られ、毎日残業していると、体調が心配だから早く下さいと言われ、ようやく早く帰れるようになったら、新しい仕事を振られの繰り返しです。 社長も常務も部長も、口先では心配してくれるのですが、次から次へと本業とは関係ない仕事に手を出し、仕事を振ってきます。以前、仕事を断った社員は、降格させられ、鬱になり辞めてしまった為、逆らうと同じ目に合いそうです。辞めたいのですが、年齢的に転職も難しそうなので我慢するしかないのでしょうか？