夫と喧嘩で疲れました

結婚して７年目、子供は３歳と２歳の２人の息子がいます。

夫とは結婚して以来、何度となく喧嘩してきたのですが、繰り返すことで
夫に諦めることも多くなり、喧嘩の回数自体は減ってきたと思います。
ただ、喧嘩になるとそれまでよりも大きな喧嘩になってしまいます。
そして最近、大きな喧嘩をするたびに、夫は実家に帰るようになりました。

夫は日頃から口下手で、喧嘩をしてもあまりあれこれ言わずに
俺は悪くない！の一点張りになるタイプで、話し合いをしようとしても
話はしたくないと拒絶します。
でも、浮気を含め今後の夫婦関係、家族関係に影響のある喧嘩の場合
私も黙っていられずに言いたいことを言ってしまうと、口で言えないせいか
暴力的な行動に出て、最近は最終的に実家へ行くという行動に出るように
なってしまいました。

そうなると、よほどのことがない限り電話にもでないという状態で
車も乗っていってしまい、こちらが使いたくてもそれすら拒絶されます。
義母に相談しても、息子命なタイプなので、浮気であっても私が悪いと
言われてしまい、義父がすでに他界していることもあってか、いつでも
別れて帰っておいでと夫に言っているようです。

子供は長男に軽度の障害があり、次男にも似たような障害があるかも
しれないという状況で、日頃の夫は子供の面倒はそれなりに見てくれる
のですが、喧嘩になるとそういったことも関係なく、すべてを投げ出して
しまうようです。

一昨日の晩に夫とちょっと揉めた際、浮気をするのはお前が良くない
からだと言われ、私の中で限界を超えてしまいました。
私もかなり気が強い方なので、この一言で本当にキレてしまって大喧嘩に
なり、昨日の仕事帰りから夫はまた実家に帰ったようです。

この先どうしたら良いのか、アドバイスをいただけたら幸いです。