夫小遣いについて

中学３年、2年、小学校3年生の子ども３人、自分、夫です。
夫の給料手取り25万円、夫の小遣い三万円、
住宅ローン7.7万円、借金7万円（整理済み）
私のパート代13万円で生活しています。
その為主人も副業をしてます。
それでも毎月カツカツです。
私は借金が返し終わるまで、正直3万円のお小遣いで我慢してほしいと思っています。
でも、主人は無理なようです。
バイト行くモチベーションがないと困るから、一回行くたびに500円欲しい。
肩が痛いからお金くれと言われたのですが今月は本当にキツイから出せないよと言ったら、
お前はパート代好きなよう使ってるのに俺は使えないのか。
俺は自分の小遣いで全て賄っているのに。
もうバイト行かない、自分の給料だってお前には渡さない。
と激怒しています。
でも、主人の言う通りお金を渡していたら我が家それこそ破綻です。

それとも私が主人の言う通り、鬼嫁なのでしょうか。
もう疲れました。