離婚した方が良いのか

私(20代)夫(40代)の子無しで二人暮らしをしています。 結婚して2年目に入りますが同棲から含めると6年近く一緒に暮らしています。 私は元々整理整頓、掃除が苦手で、指摘されることが多いタイプな人間です。 主人は学歴も高く高収入で、仕事でもなんでも基本こなし、評価され続けてきた人間です。それを自負している人間でもあります。 わたしにももちろん落ち度はありますが主人の中で何か沸点に触れることがあるととても怒り。何をやっても私のせいになり 怒る度に『出ていけ、離婚する。』とよく言っています。最近は疲れてしまい私にも出来ていないことも多くあることから 相応しくないだろうから離婚して欲しいと話すこともあるのですが、すると離婚などの話を逸らし、私の意見を尊重し始めたりします。 そんなやり取りが結婚後特に多くなりました。 1度家出した後には、反省した素振りも多少ありましたが、ちょっとしたことで逆鱗に触れた際『帰ってこなくて良かった』などと言われました。 手を上げることは無いものの、物に当たったり、壁に穴を空けたり(2箇所)といった行動をとることがあります。 物に当たるのは日常茶飯事です。 パニック障害を主人が患ってからもいろいろと気にかけるところはかけて対応してきていましたが、 この頃は調子が良くなり、趣味の野球観戦ではテレビで見ながらずっとスマホで野球好きとやりとりし 飲み物1つ自分で取りに行くことはしません。(話しかけても返答は無いです) 周囲からは妊活の姿勢も含めてモラ夫だから離婚した方が良いと言われるのですが、離婚したいと思っても怒鳴られたりする事が怖くなかなか動けません。 短い文面からで恐縮なのですが、モラ夫と離婚されたことがある方いらっしゃいましたら経験談として離婚の仕方をお教え頂きたいです。