離婚準備を始めたものの「現在」がしんどすぎて潰れそう

夫、小学校低学年の子どもと暮らす40代主婦です。 夫は受動型アスペルガーの特徴そのままの人柄です。以前受診に誘ったら、俺を病気扱いする気か！と暴れたので未診断です。 夫は、他人の気持ちを想像したり、話し合いができません。ケータイでゲームをしながら私の話を聞き流すのが限界です。結婚しても、子どもができても気分は独身のまま。子どもが乳児の頃から家事、育児は眼中になく仕事をしている自分だけが大変と、毎日飲み歩いて深夜帰りなど、自分だけのペースです。 耐えきれずにこちらが怒ったら、より帰宅が遅くなり、挙げ句の果てには数年前同僚と不倫。発覚後も、そんな性格が結婚前にわかっていたら結婚しなかった、人格否定されたから離婚したいと言われました。何もかも私が悪いそうです。事務パートで子どもが小さく、離婚は考えられなかったため、私が謝ってワンオペを続けてきました。 夫は社会的には信用度の高い仕事をしています。それもあってか周囲に話しても理解されず、むしろ優しくていい人なのにと言われます。不倫までされたのは、私がすべて悪かったのかと自分を追い込むようになっていました。最近、これをカサンドラ状態というのだと知りました。夫が変わらないことも理解しました。離婚も視野に入りました。 そこで、自立に向けて半年前から新しい会社を受けて正社員で採用されました。工場での肉体労働を含む管理です。 ただ、家庭不和のなかでの、新人正社員。ワンオペ。長く勤めていて、業務の勝手も慣れ、周りの信用も得ているワーキングマザーの方とはまた違うつらさがあります。 自立するために自分で決めたことですが、毎日つらく、心のバランスがとれず弱っています。どなたかご意見いただければ幸いです。