夫の借金、離婚？

１年半の交際を経て結婚し、６年になります。その間に５回借金・使いこみをされました。額は１回につき１０万～２０万。結婚が決まった時に消費者金融に借金があることを聞かされました。夫(当時は恋人)の給料を私が管理し返済計画をたて、返済しました。返済予定のお金を使われたり、貯金を使われたり、キャッシングをされたり・・・。いずれも原因はギャンブル(スロット)です。

４度目の時、夫の両親をまじえて話をし、私が嫁として行き届かないからそういうことになる、というような言われ方をしました。毎回、発覚するたびにこれ以上はないくらい謝ります。家計としては痛手ですが、離婚にふみきるほどの額でもなく許してきましたが、５度目、子どもが生まれて最初の結婚記念日にやられたこともあり、もう信じることができません。常に疑いを持っての生活です、夫婦喧嘩をしても、『あれだけのことをしといて。』という気持ちがあり、夫に文句を言われることが理解できません。子ども(１才)が父親を認識する前に別れたほうがいいのか？こんな状態の親では可愛そうではないか？借金癖がある以外は、家事・育児に協力的でいい父親です。アドバイスお願いします。