生活費について

どうしても腑に落ちなくて、悩んでいることがあります。
子供3人、旦那と私の5人家族です。私の給料が月12万円ほど。旦那の給料はわかりませんが、月に旦那の携帯代含めた5万円を家に入れてくれてます。それ以外に旦那がご飯作ってくれる時は、向こうが食費を出してくれてます。それ以外の家賃、光熱費、食費、日用品、私と子供の支払いなどはすべて私です。
全然足りず貯金を切り崩して生活していたのですが、それも底が尽きそうです。そこでバイトアプリで今日の夜からバイトしようと思い、前々から旦那に一番下の子がまだ小さいので、子守りを頼んでいたのですが、今日旦那は趣味に出掛けていて、帰ってきたと思ったら酔っ払っていて、寝室へ。それにイライラして、私が「今日の夜子守り頼んでたよね？」と言うと、働いてくれって俺は頼んでないと。
子供3人いて、月に5万円と少しの食費しか貰ってないことに日々不満があったのですが、言えば大きな声で怒り出すため言えずで、ズルズルしてたのですが、旦那は「お前みたいに金、金と口うるさいやつはいない」と言います。
いちいち俺に突っかかってくるなと。
私が求めすぎてるんでしょうか。もうこれなら一緒にいない方がいいなと思ってしまいます。