会社経営をしてる夫に疲れます

夫婦(30代前半)子1人(生後５ヶ月)の３人家族です。 夫が会社経営を始めて3年目です。自営業から法人に切り替え5年目になります。法人にして半年後私も会社に本格的に経理として入りました。それまでは他所で正社員で働きながら手伝っていました。経理といっても日々の帳簿記入、給与計算などで、申告などは顧問税理士さんにお願いしています。実働で言うと週3.4日程度です。飲食業で正社員２名パート・アルバイト数名居ます。 夫自身は今は月１日程度の休みで働いています。 夫は常に私と居る時は仕事の話をしています。 私の仕事で気になることがあると口調が強く怒ってるように言ってきます。私は怒られるような事をしてないつもりですが、ミスもしてないのに怒ったような口調でものを言われると気分は悪いです。なるべく普通の態度を取っているつもりですが、夫からはあの時の態度がもうおかしかった。と言われて喧嘩になります。 何気ない事などを私が、話すと時間の無駄みたいな態度を取られて今は私から話すのにすごく気をつかいます。家でずっと仕事の話しかしない、なぜか怒られてる気がする、という点でストレスが溜まります。よそで働きたいと今思っています。 経理と両立できるの？と夫からは言われます。 正直色々と疲れてきました。 少し離婚という事も考えましたが、考えが甘いのでしょうか。 自分の機嫌は自分で取る、という事も心がけていますが、精神的疲労を感じてしまいます。 なにかアドバイスを頂きたいです。