発達障害&不登校子どもと、家庭不和

3歳で発達障害診断(現在小6、アスペルガー&ADHD、音声チック、運動性チック、二次障害で反抗性挑戦障害)を受けた男子の母親です。
下は現在小1の定型発達の女子がいます。
保育園時代に上記の診断を受け、当時から現在も、出来る限り主人の仕事の休みに合わせて、息子の診察やカウンセリングには同席してもらってます。
(主人は平日休み、私もフルタイムの正社員ですが子供に合わせて土日休みなので、当時から無理して仕事は調整しています。退職も考えましたが幸い職場の理解もあるのと、経済的な理由もあり続けてます。)
保育園時代からの心労が耐えない私に対し、診察等には同席するものの、基本、仕事が忙しいからと丸投げ状態の旦那。
「一緒に考えよう」ではなく「俺は仕事があるから無理」が続き、適宜に外部のサービスを利用し、抱えこまないようにしつつ、旦那ともコミュニケーションを図ろうと自分の気持ちを伝えてましたが、旦那には「自己主張ばかり」と捉えられ、3年前に浮気をされました。
その結果、私はパニック障害になり現在に至ります。
通院もしましたが、その度に「酷くなってる気がするから病院行くな。薬に頼るな」と言われ続け、現在は通院も服用もしてません。
息子は息子で、友達もいて学校に行けば楽しそうにしてるものの、チック症状も辛く、普通学級と支援学級、保健室登校も学校には認めてもらってるのに「学校行きたくない」と毎朝頑なで、私は暴言や暴力に耐えながら学校へ何とか遅刻で連れて行ってる状況です。
息子には、自宅では無理させず好きなことをして過ごさせたり、自己否定感を持たせないよう言葉を選んだりして接してましたが、私も限界で、最近は虐待まがい寸前に爆発することもあります。
また旦那は私に興味もなく、子供たちは夫婦仲が冷えきってるのも感じてるようです。
こんな状態で家族を続けて息子は好転することはあるのでしょうか…。