赤ちゃんの夜泣きに怒る夫への対応方法を教えてください

現在、６ヶ月半の赤ちゃんとフランス人の夫とフランスで生活しています。 夫、無職（求職中）自分、パートです。 夫の仕事の都合で、生後数ヶ月の赤ちゃんと日本から現在の地に引っ越しました。ですが、その夫の仕事がうまく行かず、代わりに慣れない地ですが私が働いています。そのため私が働いている間、夫は子どもの面倒をみながら仕事探しをしています。本当は、私が専業主婦として育児をしたいのですが（結婚する前から、自分の手元で３歳までは育てたいと夫に話してあります）、とは言っても、経済的に働かざるを得ないので家族のためしょうがなく働いています。 育児はほとんどやってくれます。家事もトイレ掃除と床掃除以外は頼めばだいたいやりますが、基本的には私が休みの日にまとめてやります。 そんな中、赤ちゃんが毎晩３回くらいアトピーのため痒くて眠れなくて大泣きするんですが、大体夫はイライラして大声を出します。私の出勤日の前夜は夫が赤ちゃんを見てくれるとの約束だったので、夫も頑張って面倒をみようとしているのだろうと思います。ですが、結局耐えきれず赤ちゃんにつらくあたります。大声、すごい勢いで抱き上げる、そしてすごい勢いで頭に薬を塗る、、、などです。毎回ではありませんが、何度かそういったことがあり、注意するのですが、本人は自覚がないのです。赤ちゃんが可哀想だ、痒いだけでも可哀想なのに。。、暴力だ、と言っているのですが、そんなことはしていない、と言うのです。 夫も無職でストレスが溜まっていて限界のようです。それは理解できますが、私も慣れない国での新生活、新しい仕事、初めての育児と一杯一杯です。今日夫が私に謝罪し、子どもにも私にも悪かった、でも妻として私からの精神的なサポートがないから仕事を見つけるのも大変なんだ、と言われました。私も精一杯なんです。それでも私は子どもを夫に任かせて仕事を続けるべきでしょうか？