シフトのキャンセルが多すぎる職場

某福祉施設でパートして数年になります。直接雇用です。 面接時に「平日を中心に月16回シフトを入れて欲しい」と言う話で雇ってもらいました。しかし紙の契約書は交わしていません。 そこから数年、コロナで仕事が減ったせいもあり、仕事は月に6回程度です。 しかも出勤は土日がほとんど。 10万以上稼げると思っていたものが4万くらいです。 シフトが入っていても前日に「明日の仕事無くなりました」と連絡が来ます。キャンセル分の保障も無し。 コロナで閉鎖になってもその期間のシフトの保障も謝罪も無し。 我慢し続けること1年以上です。 このままの状態がこれからも続くと思います。先方は改善する予定もないみたいです。 最近はダブルワークで平日の仕事も始めました。そちらはきちんと働かせてもらえます。 出勤するのが憂鬱です。 子供もいるので週末は家に居たいです。 今後の経済的な不安を理由に退職しても問題ないでしょうか。