会社辞めたいけど…

悩んでいますが答えが出ないので、ご相談したいと思います。よろしくお願いします。我が家は主人37歳、私39歳、長女５歳、次女10ヶ月の４人家族です。
主人は年収600万円、持家です。
私は正社員で現在育児休暇中、休暇前の年収は300万円、復帰後は時間短縮勤務をするので年収180万円ほどの予定です。恥ずかしいお話ですが、貯金はほとんどありません。
私自身は今の会社を退職してパートとして働きたいと思っていますが、主人が反対します。その理由は、生活レベルを下げたくないから。私は１人目妊娠中から辞めたいと訴えていましたが、主人の意見は変わらずです。私が退職したいのは仕事がとてもハードで家事・育児の両立が難しいからです。主人は育児はやってくれますが、家事は一切手伝ってくれません。
ママ友達はみんな正社員だから勿体無いし辞めないほうがいいと言います。（みんな、パートもしくは専業主婦です）パートでも切り詰めれば生活は出来ますが、贅沢はできません。退職した場合、退職金が500万円ほどです。（確認済）日曜出勤があり、賞与もない会社で正社員でいる事のメリットが正直感じられません。皆さんならどうされますか？