退職を後悔…再復帰を検討

初めまして。29才小3子持ちのまりんと申します。
7月の末に、フルタイムで9年勤めた会社を退職しました。退職理由は、
1残業が多く定時で帰れない。（シフト制なので早番で帰宅が19時30分、遅番で21時～22時）
※職種はサービス業での営業事務職。通勤時間50分。2病気（婦人系）が分かり激務から疲れで体調を壊した。
3女性で私だけ主婦の子持ちなので、上司など子持ちだからという理解はしてくれない。
※ちなみに子供がいるのでずっとパートで働いてましたが正社員と同等の職務内容と働きでした。
4子供、主人との時間を大切にしたい
と理由で退職しました。
上司より、『いつでも戻っておいで。』とお声をかけて頂き、退職した元の職場に復帰させて頂こうか悩んでいます。


兼業中は、家庭と仕事の両立が出来ず、主人にイライラを当たり散らし、喧嘩ばかりで子供にも寂しい思いをさせていました。主人は家でのんびりして欲しいと言ってくれますが、子供も9月から学校が始まるし、母親の協力も得られ、体調も良いので働きたいなと思っています。（老後の為に働ける時に働いて貯金をしたいです）けど、また嫌になって辞めたくならないか(ストレスがすごく溜まります。)…長く続けれる仕事ではないので戻っても…と不安な気持ちもあります。人間関係も問題なく、同僚にも迷惑を掛け、我が儘と承知しております。ご意見宜しくお願いします。