離婚か再構築か、、この先どうしたら進めるでしょうか

長文のご相談失礼致します。
私と主人は29歳の同い年で、3歳と1歳の息子2人、4人家族で生活しています。
主人は長男を出産した後に起業し経営者となり、私は育児メインに看護師として働いています。
子供が生まれる前は主人とも仲良く過ごしてましたが、出産資金を旦那がゲームの課金に使うなど金銭的トラブルもありました。
会社経営に関しては、主人の夢でしたが、第一は家族との時間やお金が欲しいからという理由だったので応援していましたし、キャバクラなども許してはいました。
また、主人の経営が傾いた時も、妊娠中だったため看護師としては働けず、チャットレディなどをして支えてきました。
このことは主人には内緒でしたが、喧嘩の際に主人は知っていたと話してきました。
その後半年以上セックスレスになり、飲みに行く機会も増え、ある日朝の7時に帰ってきた主人の携帯を見ると、キャバ嬢？なのか女の子にLINEで性行為に誘うメッセージを見つけました。
それを問い詰め、激しい喧嘩となりお互い手を上げてしまい、警察沙汰になってしまいました。
これに関しては深く反省しています。
主人は浮気は一度もしたことがなく、酔った勢いでメッセージを送ったと主張しています。
そのまま離婚すると出ていき帰ってこないです。
離婚の話し合いに関しても話したくないとLINEでのみしか話を聞いてくれません。
子供たちは主人にすごく懐いていて、パパのことを気にする子供達を見ていると、申し訳ない気持ちにかられてしまいます。
正直家族としてはやり直したい気持ちもある反面、こんなことをこれからもずっと繰り返すのも疲れてしまった気持ちもあります。。
みなさまどうかご助言お願いいたします。