育休をとるか悩む

秋に一人目出産予定の妊婦です。
育休をとるか、かれこれ1ヶ月以上悩んでます。

職場は育休前提で話が進んでいて、後任となる方は採用済ですが、コロナの影響で勤務開始日が初夏の予定です。
必要としていただけるのは嬉しいのですが、給与が見合わない？とモヤモヤ悩んでいます。

本題ですが、私は非正規のフルタイム、手取り16万円です。
資格職や念願の仕事ではなく、一般的な事務です。
復帰後に時短勤務の場合は、無欠勤で手取り13万円と思います(具体的な話はしてない)。
これから保育料を支払い、欠勤等を加味すると手元に残るのは4～5万円前後の予想です。

夫は正社員勤務、家族3人でも十分暮らしていける収入があります。
仕事の都合で帰宅は21時前なので、協力は期待できそうにないです。

夫から「その手残りで仕事と育児という苦労は見合わないのではないか？復帰しても体力的な問題で半年で辞めそう。子どもを生後半年で預けなければいけないほど、家計は切迫していない。働きたいなら土日に面倒見るから、アルバイトしたらどうか？」と提案されました。
私としても、会社から育休を提案受けた時点では有難いなと思っていましたが、お金の計算や子どもの欠勤等の対応が全て私に降りかかると考えた時に、割りに合わないなと正直思いました。

職場は福利厚生は望めないですが、雰囲気が良く周囲の理解もあります。
二人目も考えているので、ここで辞めたら次に腰を据えて働けるのは5年以上先になってしまうのか？と思うと、退職を躊躇ってしまいます。

客観的なご意見を伺いたいです。