アスペ受動型の夫のパニック

夫は10年前にアスペルガー受動型という診断を受け、今日に至ります。
本人には何の困り感がないため、特に受診やカウンセリングなどは必要ないと言っております。
ただ私は妻として夫のパニック時に起こす行動や言動に驚き、治め、対処をその都度してきて疲れてしまいました。
例えば数年前に夫の車に60代の女性の車が曲がり角で曲がりきれず夫の車に擦り傷を作りました。
夫はすぐさま私に電話で、婆さんにぶつけられたから来てくれ！と怒り狂ったような物言いで連絡して、私はさぞかし大きな事故だと思い行くとたった3センチ位のこすり傷程度。
60代の女性は謝っていたのに夫は「死ね、死んでくれ」「お前みたいな年寄りが運転したら社会の迷惑だ！」などと罵倒して私はそれを諌め
「まず保険会社と警察に連絡しましょう、お怪我はありませんか？そして焦らなくて大丈夫ですから車を少し端に動かしましょう」と指示。
平謝りの女性に夫の暴言を詫びつつ事故処理も難なく終了。
帰宅してから夫に「死ね」などの暴言は絶対に言ってはいけない事、イレギュラーな事が起こる度毎回後先を考えずにパニックになる事を少なくしていく工夫をしていこうと話をしても
夫は向こうが悪いのだから言われて当然、と本気で正当化します。
こういう事が割とあるので（勿論普段の生活の中でも夫は沢山の拘りが強くそれに合わす形で成り立っています）
私も段々と疲れてきて最近は夫に優しく諭すどころか少々冷たい言葉を言うようになりました。段々と優しくなくなっているようにも自分で感じます、、

夫は50代で最近はどんどん私が自分の味方だと思うと何をしても受け入れてくれると思っているのか
段々こういう事が頻繁に起こります。

もう脳が疲れてしまい、離婚ではないけれど少し離れたいなと考えてしまいます。
こんなかたいらっしゃいますか？