義実家が原因で離婚したい

3歳と0歳の子供がいる30代の主婦です。 夫の両親は夫が高校生の時に離婚し義父とは年に1、２回会う程度で義母とは月1、2回会っています。 失礼な言い方ですが義両親ともにお金がありません。 義母は年金だけではやっていけないにもかかわらず、夫が高校卒業してから週3短時間のパートしかしていません。 義母は結婚している方と長く付き合っており、その方から援助があり暮らしていけてるようです。 義母からは「働けなくなったらよろしくね」←何を？ や、「援助してくれる人がいなくなったら生活できない」 と言われてます。 義母の老後を考えると離婚したいです。 介護にかかる費用は夫の給料からと言いたいですが、夫には貯金が無く給与も高くありません。 むしろ借金がありましたが結婚後夫の給料を切り詰めさせたりして完済しました。 そのため私が働かないと生活していけません。 しかし子供にお金を費やしたいのに義母が働けなくなったらと思うと、、 主にパートしかしてこなかった義母のためにフルタイムで働いているような気持ちになってしまうと思うのです。 夫には姉がいますが義母にかかるお金は夫に丸投げだと思います。 義母と頻繁に会って子供の面倒みてもらってるのに関わらず面倒なことはいつもこちら任せです（車の送迎など） 夫は話せば分かる人だと思いますが、ややマザコン、シスコン気味で未だに私よりは義母義姉のいうことを聞きます。 また、夫は口がうまくモラハラ気味、私は口下手で人付き合いが苦手。 夫は幼い頃から人を惹きつける魅力があり、いじめられたことも無いそうです。 私は大人しく表立っていじめられたことはないですが人から好かれるタイプではありません。 子供には私のような思いはしてほしくなく、父親のように上手く世渡りできるようになって欲しいと思い、離婚の決断ができません。 皆様の意見をお伺いしたいです。