離婚すべきか悩んでいます

現在結婚６年目、夫、私、幼稚園の年少、年中の子供2人がいます。子供が産まれてからとゆうもの夫は家事育児一切手伝ってはくれず毎週のように飲みにいき子供がうるさくしているとうるさい！早く寝ろ！と言うようになりました。自分の好きなギターやバイクなどばかりしていて私はストレスや不満が募り今から３年前になりますが勤めていた会社の上司に相談をしているうちに親しくなり不倫をしてしまいました。 不倫が夫にみつかってしまいビデオカメラに証拠は残っているんだ！と言われ殺されてしまうんじゃないかと思うぐらい叩かれ額を拳で殴られ顔中腫れ上がってしまいました。私は謝り夫は許してくれまた新たにスタートしましたが私は会社の人と関係があった為仕事は辞めさせられ夫が全てお金を管理するようになり私は夫になくなったらお金を貰うようになりました。 私の家庭環境の指摘や私の母親の事を馬鹿にしたりして自分の意見を通しことあるごとに説教をされ私は怖くて何も言えなくなってしまいました。 ３年間ずっと耐えて来ました。ですが私の原因で夫をこんな人にさせてしまったのではないかと思い離婚に踏み切れずにいます。みなさんの意見を参考にしたいと思っています。よろしくお願いします。