夫の性格、義母、義祖母全てがストレス

私34歳、夫33歳、娘3歳の三人家族です。夫は家には必要な分を毎月入れてくれますが、それで義務は果たしてるんだから、残りは自分の好きなように使いたいしとやかく言われたくないし、クレジットカードの明細も貯金も借金もプライバシーだから教える気はないと言います。喧嘩もしましたが諦めました。 給料は教えられていますが、夫の様子から、それより多いか、他にちょこちょこ臨時収入がありそうです（若しくは借金)。夫は裕福な家庭で育ち、生まれてこのかた貯金はしたことがありません。四月から子どもが幼稚園に行きだし、私はパートに出始めたので、今後は私の収入を少しでも貯金しようと考えていました。 ちなみに義父と義母も浪費家で、計画性がありませんが、裕福なためそれでも問題はなかったようです(夫は一人っ子です)。その二人は数年前に離婚し、義父と夫は絶縁状態になりました。義母は生活を改めず、離婚の際分けられた貯金を使い果たし、家を売り、更には義祖母の家(義母は一人っ子なので義母名義にしていた)も無断で売り、義祖母の貯金も使い果たしました。主な内訳は、ギャンブル、男に貢ぐ、皆に奢る、儲け話に乗り失敗などです。 現在義祖母は借家で年金でその日暮らし、義母は男の家に転がりこんで食い繋いでいます(結婚はしそうにないです)。最近夫が二人にお金を渡していることに気付き、離婚を迷いだしました。二人とも健康な状態でも夫にすがらなくてはならない状態なら、体を悪くしたりとなると、共倒れしそうです(うちも貯金ゼロなのに)。娘と自分の老後のために離婚し、母子家庭になる方が少しづつでも貯めれるのではと思っています。でも、夫は私や娘に優しく、私も夫のことが憎くて別れたいわけではないので離婚のタイミングがわからず、離婚を避けたい気持ちもあります。どうするのがベストでしょうか？