残業したくない

はじめまして。 30代会社員（女性）です。3年前から自部署の責任者をしています。自部署には派遣社員がいますが、社員で同僚や上司はいません。 現在の職場は新卒から勤めています。仕事の内容は勤続年数が長くなるにつれ、業務が増えてはいますが、ずっと同じフィールドの仕事をしています。 数年前に結婚をし、将来的に子どもも欲しいので、以前上司に働き方を見直したいと相談をしました。具体的に言うと、毎日残業は当たり前で休日出勤も月に４日程度あるため、多少の残業はやむなしとしても基本的に定時で帰れる仕事に変えてもらえないかと希望しました。上司は仕事内容の転向は難しいが、残業を減らせるよう私の責任者の職を解くように考えてみると言われています。 しかしながら、私の仕事を分担できる適任者もいなければ、上司自身も仕事が手一杯でそこに労力を割く余裕がないようです。私の所感としては管理職は部下の仕事の割り振りも仕事のうちだと思うのですが... 私が異動を希望している事務職は給料形態は私と変わらないのですが、そこの部署の人は皆残業はほぼなしです。違うのは等級による基本給と残業代だけです。事務職の人が仕事をしていないわけではありませんが、同じ女性でも私は年間600時間ぐらい残業してるのに彼女たちは残業がほぼなしなのがうらやましくて... そもそも、うちの会社では彼女たちと定年間際の一部の人を除いては、みんな深夜残業が当たり前で疲弊しきっています。問題は私の残業だけではないのは事実です。 ちなみに今の給与に関して不満はありません。残業代も申請したら出ます。休日出勤しても振替休日は取れないのが現実です。 取り留めのない文章になってしまいましたが、皆さんならどう行動しますか？転職する、仕事が終わってなくても自分だけ帰る、もう一度上司に相談するなど、理由を添えてご意見いただけると嬉しいです。