仕事を辞めたい　甘えか？

はじめまして。
33歳既婚、都内の大手物流企業で正社員として働いてます。4月から現在の勤め先で派遣から正社員となりました。大手ですが、年収270万で数年後に300万ぐらいに上がると言われてます。残業は月に35時間から40時間で、手取り21、22万です。ボーナスは手取り11万です。
仕事量や責任が多く、仕事を辞めようか迷っています。
メールや電話の問い合わせも多く、毎日クタクタです。

勤め先は、上司1名、時短の方1名、私、その他派遣さん3名と、派遣さんの教育から上司のサポートで私は、いっぱいいっぱいです。(上司の業務量が多く、上司が行う業務も一部やってます)頼れる人もいなく、日々どうしていいかわかりません。時短の方は、6月に今の部署に異動してきて、その方にも仕事を教えてます。

現在不妊治療を行なっていますが、毎日クタクタで中々進みません。
ですが、正社員になったからには頑張りたい気持ちもあり、辞める決心がつきません。また勤め先は部署異動が多く、私も他部署に移れる可能性があるのでは？と思っています。(早いと6年で異動)
現在、チームの全員が残業40時間ぐらいありますが、増員は考えてないとのことです。

幸い夫のお給料でやっていけることもあり、夫は辞めてもいいと言ってます。
今週はお盆前で22時、23時退勤で疲れました。
辞めようと思う私の考えは甘えでしょうか。
4月から毎日クタクタですが、まだまだ頑張りが足りないのか、よくわかりません。。