2児の母。仕事を辞めたいが歳の差が心配

40歳、未就学児2人の母です。 2018年に正社員を退職、2020年に第一子、2022年に37で第二子を出産し、2024年春から大手メーカーの一般職に再就職して2年目です。65歳定年、無期雇用前提のフルタイム契約社員で定年までいてねと言われています。 年収は賞与込みで400万程度。昇給はありますが年収は450万で頭打ちかと思います。 仕事内容は庶務で残業ほぼなし、子持ちに理解があって休みはすごく取りやすく、仕事も今までの仕事に比べたらストレスが少なく、人間関係も悪くないです。 去年末まで楽しく働いていたのですが、年明けから下の子のイヤイヤや夜泣きが酷くなり（発達に問題なし）ここ最近酷く疲れるようになって退職してパートで週3くらいで働きたい気持ちが強くなってきました。常にイライラして子供に当たって自己嫌悪です。 また、会社組織なので人事異動などで仕事が増えたりするのはよくある話ですが、4月から私の仕事が増える可能性があると言われて（残業が月5〜10時間になる可能性）、甘えすぎですが退職したい気持ちが出てきてしまいました。残業0でも毎日クタクタなのに新しい仕事を増やされて覚えなくちゃいけないことに酷い苦痛を感じてメンタルが落ちてます。夫は家事育児協力的ですが、4月から異動の可能性がありワンオペになるかもしれません。 友人に相談すると恵まれてる職場だから続けたら？と言われてます。 一方、夫は14歳年上で公務員、65歳定年です。年収は800万と不労所得500万（不労所得は2040年に1000万に増額予定あり）あり。60歳以降は年収が今の6割くらいになります。 高齢出産だし歳の差を考えるとこのまま働き続けたほうが良いのはわかるんです。。 辞めないほうがいいですよね。 どうすれば甘ったれず働き続けられるでしょうか。