お金のない義両親の面倒を見る気になれません

義父は運転手、義母は週3のパートで生活をしているらしいですがそれでもお金がないお金がないとことあるごとに言われます。
数年前、義父は突然仕事を辞めマンション、外車の購入、趣味の本の出版を一度に行いローンや生活費を支払えなくなり夫と義兄がそれぞれ月15万ほど仕送りしていました。
義父が復職し生活が安定したため仕送りを辞め夫がプロポーズしてくれ結婚に至りました。
最近また義母より「老後のお金がないから頼むわね、大変だと思うけど私たちも大変なの」と夫に連絡がありました。
私は義両親が嫌いです。挙式の打ち合わせではお金は出さないのに口は出すという感じで「友人は一切呼ばず親族だけで質素に」とうるさかったため友人たちを呼べず、結婚式には3日前に「お金もないし面倒だから参加しない」とドタキャン、私も腹が立って「あまりにも身勝手じゃないですか？」と申し立てると義父に「俺たちが悪いのか？なら裁判でも起こしてみろ！できないなら黙っとけ」と言われました。実母と義母が食事に行った際には財布に数百円しかなく5,000円のランチ代は実母が支払ってもお礼もなかったと聞きました。私の両親も「お金が全てじゃないんだからせめて態度や気持ちだけでもなんとかならないのか！」とかなり頭にきており、親同士の付き合いはもうなくなりました。
私と夫はフルタイムで働いていますが正直一銭も渡したくないと思っています。
私も夫も指定難病持ち、生命保険などに入れないこともあり働ける身体がある今のうちに自分たちや子供の貯金をしっかりとしたいです。夫は次男、仕送りできる余裕がないと断ってくれたようですが、いずれ介護か援助しないといけないのでしょうか。
夫は「子供がいて、大学卒業後からやりたい仕事に就けてる私がそれを犠牲にしてまで面倒見るのはおかしい、世話はする必要はない。自分の両親のことだけ考えておけばいい。」と言ってくれてはいます