離婚の決心がつきません

結婚3年目の子なし夫婦です。 夫と離婚するか迷っています。 夫の仕事の都合上、遠距離夫婦で1年前から一緒に住み始めました。 住み始めてすぐ夫のカードローンがわかり、大喧嘩。 毎月返済してる形です。 少し落ち着いた矢先、夫の浮気？がわかりました。 浮気というか、恋人ごっこというか、、夫に問い詰めたところ元上司で、体の関係は無いし会ってもいないと言い張りました。 向こうも家族がいるから、どうにもならないと思った、LINEを楽しんでしまったのは事実、心が浮ついたのは事実だ、本当に申し訳無かった。もうしないと言いましたが、その後も仕事と嘘をついて女性と遊びに行こうとしたり、仕事が大変で遅くなると言いながら、女性と長電話しているのがわかりました。 話し合い、やり直そうと決めましたが、 大した事のない事でも、私がすごく強く物を言ってしまいます。 心の底で恨んでいるからだと夫に言われました。 その通りだと思います。 仕事上、帰ってこないことが多いですが浮気をしていたと思う時期は本当に全く帰ってこず、電話をかけても電源を切っていました。 やり直すと決めたのにずっと疑ってしまい、夫も疲れたと思います。 私が情緒不安定になってしまい、少しの喧嘩でもヒステリックになってしまいます。 最近また喧嘩をし、もうしんどいと夫に言ったところ、夫から実は別の借金がある。言えなくてこんな形で言うことになってしまった。もう信用できないと思う、最低な事をし続けてしまった、幸せに出来なかった、離婚しようという風に切り出されました。 子供が欲しいと言ってもいつもはぐらかされていたのはこの事が原因だったそうです。 お互いの為にも離れた方が良いと理解できているのですが、夫はとても優しく仕事も頑張っておりそこに関しては尊敬している気持ちがまだあり、決心がつきません。支離滅裂で申し訳ありませんが、アドバイスを頂きたいです。