精神的に病みました。

というのも、正社員のころは自律神経失調症手前だったので辞めたのですが、アルバイトにしたとたんにダメで無知な上司にあたってしまって我慢が出来なくなり、高血圧になってしまいました。

もう一度転職して、ようやっと精神的に少々落ち着き、血圧も安定してきました。
ただし、収入面でかなり自由がきかなくなったので、違う意味で精神的に不安定なのは否めません。

でもかといって、家事が一切合財できるようになったかというと、それはまた別のお話です。
忙しい人でも、掃除できる人はきちんと掃除できるし、「忙しい」っていうのは単なる言い訳に過ぎないのです。

私はトピ主さんとほぼ同じ年、同じ立場（子育ても介護もしていない）です。数年前に退職後、派遣社員を経て、現在扶養内のパートです。
退職するときは「もったいない」と言われたけど、一度しかない人生、仕事と家事だけで終わってしまう（残業の多い仕事でした）ほうがもったいないと思いました。幸い生活がかかってるわけでもなかったし（だんな様に感謝！）。
ただパートで働くことは甘く見ないほうがいいです。どんな所へ行くかによりますが、正社員が長いとやっぱり「ばりばり働いてた私」を忘れられないんですよね。
パートはいつまでたってもパート、職場内では底辺の立場です。若い社員に仕事を教わらなきゃならないし。休みが多い月は収入が少ないというのも正社員の頃には考えつきもしなかったことです。
トピ主さんはボランティアをやりたいなら、仕事は割りきってそちらにやりがいを求めるとよいのではと思います。

時間の管理がきちんとできる人なら、
正社員から短時間パートになっても大丈夫なんじゃないかと思います。
私の場合、おそろしく時間の使いかたがへたで

＞時間に余裕ができ、ちゃんと家事ができる

という状態はありえませんでした。

私は、トピ主さんのような環境だったら、パートか、残業の無い派遣に賛成です。
だんなさんの会社の近くに引っ越して、短時間勤務をして、節約して料理を作ったらいいと思います。
私は派遣社員です。月に1回　不登校のネットワーク（親の会）のボランティアをしています。ボランティアと行っても私が楽しくてやっているので、趣味といういい方をした方がいいかな。

私は、5年前に２３年弱勤めた会社（正社員で働いてました）を退職しました。

理由は、自分の体（上司との折り合いが悪く精神的な理由）が不調となり
退職したしだいです。
辞めるときは（今でもですが）、これをしたいという気持ちがなく、転職を繰り返してしまってます。

私も、子供が居なく、幸いにも義母・私の両親が元気でおり、また、我が家の家の
ローンも返済済みのため、切羽詰ったということがない事から、転職を繰り返してしまうんだと思います。
ただ、私も４０歳後半であるため、一生興味が持てて、やっていける趣味を見つけて充実した日を送って生きたいと思っています。

みぃさんと同様、無職でも結局「家事」に関しては全くと言っていいほど進みませんでした。
家事が好きでそこに満足を見出せる方ならよかったんでしょうね。
「働いて」「何かを達成して」「評価されて」「お金がもらえる」
この過程がかなり気に入っているので家事をするためのパートというのは私には物足りないのだと思います。
健康に関しては、半々でした。
肌荒れはすっかり治まり、すっぴんでもピカピカツルツル、口下手な夫にまで顔が光っている、と言われるくらいでした。
一方でかなり太ってしまいました。

ボランティアは得意なことが活かせるなら良いのではないでしょうか。
私は環境保護団体の会員誌の挿絵を書いたり、発送準備をしたりするボランティアをやったことがあります。

４年前に、２３年勤めて退職しました。
私の場合は、子供が居り、父母の介護がありましたので、条件は違うように見えるかもしれません。でも、がんばっていた仕事を辞めた喪失感、収入減の痛み(私は六分の一でした)は、大きなものでした。
職場での、今までは感じたことのない、疎外感、「パートのおばさん扱い」の、悔しさ。
でも、これらすべてを差し引いても、仕事をやめた自由な気持ちのほうが大きいものです。
ひどかった肩こりもやめて半年くらいで治りました。
今も働き盛りで時間の無い夫には申し訳ないのですが、平日にも、時間があるので、医者にいったり、家事をしたり、、。確かに家事は進みませんが、そのことにも慣れてきました。何事も必死でがんばっていた自分から、「ま、いいや」と思える自分になった気がします。母の看取りも心ゆくまでできました。「どうして辞めたの？？」と聞かれるのにも2年くらいで慣れました(2年もかかった)(笑)
趣味も始めました。フルタイムで勤めていたら、土曜日に趣味の講座に出かけようとは思わなかったでしょう。
収入が減って家族には申し訳ないとは思いますが、私は辞めて幸せです。