正社員からパートへの決断に悩んでいます（長文）

３歳半の双子を育てるワーキングマザーです。
正社員（現在時短勤務）仕事量が時短でない人より多く、減らしてもらえません。
他の人に振って欲しいと上司にお願いしましたが、他の人も残業が多い為、渡せないそうです。
（でも明らかにおしゃべりしたり、のんびり仕事をしています）
私は、朝早く行ったり、昼休みも仕事（タダ働き）トイレに行く時間すらもったいないといった具合です。
帰れないときは９時くらいまで残業。
仕事内容も人間関係もいまいちです。
職場まで８０分程度。
でも辞められないのです・・・
昨年９月主人に大腸ポリープの一部が癌化していました。（ごく初期）！
現在は完治しています。
その為、もしもの事を考えるとなかなか決断できません。
主人は、一度きりの人生なんだから悩んでないで辞めればと言ってくれています。

仕事のストレスを子供にぶつけてしまう時の自分に自己嫌悪。
今が一番可愛い時期なので、子育てメインで扶養範囲内でパートが希望です。
（小学生までは、パートで仕事、その後正社員で働けたら最高なんですが）
一度正社員を捨てると、戻るのは難しいでしよね。

私の精神が安定して、子育てと仕事を両立できればいいのですが、なかなか難しいです。
皆さんならどうしますか？アドバイスお願いします。