仕事なら何してもいい？

妻フルタイム会社員、夫自営業です。夫は家で仕事に関する作業をすることがしばしばあります。毎日21時ごろから始めます。 うちは子供が4人いて、一番下の2歳の子はまだ寝かしつけが必要で、20時半ごろから歯磨き、絵本、部屋を真っ暗にして音楽を流して寝かせるを毎日のルーティーンにしていますが、それでも真っ暗な部屋で喋ったり起き上がったりを繰り返し、いつも23時前になってイライラしたわたしが怒り、やっと寝ます。 本当は怒ったりしたくないのですが、夜泣きの対応もありまだ家事が残っている中遅くまで寝てくれないとイライラして怒ってしまいます。寝かしつけ中に部屋を出ると泣いて追いかけてくるのでその時間の家事は不可能です。 ただ寝ないだけならそういう子もいると思うのですが、問題は夫が21時ごろから始める作業がかなりうるさく、それが原因で子どもが寝つかないようなのです。 夫の作業はリビングでしかできず、下の子を寝かす部屋はリビングから続きになっている和室です。上3人はリビングから離れた2部屋の洋室を使っています（学習机やベッド、クローゼットが必要なためこの割り振りにしかできず） つらつら書きましたが、夫に遅い時間から作業をするのをやめてほしく、何度も子どもが眠れないということを話した上で相談しましたが、仕事なんだから仕方ないということで取り合ってもらえません。確かに仕事は大事ですが私としては日中の仕事から帰ってきた後のご飯を食べるまでの間や、食後の時間、休みの日などに子どもの面倒も見ずソファでゲームをしている夫を見ると、その時間に作業してよ、と思ってしまいます。仕事から帰りダラダラしたいのはわかりますが先に作業を終わらせてからダラダラしたほうがお互い楽なのに、、、。一度言いましたがブチギレられただただ機嫌が悪くなって終わりました。 どうすればこの状況を変えられるでしょうか。