私がダメなんでしょうか。（疲れました）

夫(39歳)私(35歳)子供(小6小5小1)の家族です。
夫は完璧主義で神経質な性格です。私は多分逆に近い性格です。
夫はトラック運転手をしていて、週に2回程、朝方帰ってきて夕方仕事に出ていきます。私は工場でフルパート(8時半～5時半)です。
朝、私が起きてくると主人は晩酌をしていたのですが、いきなり怒り出しました。トイレのマット替えてない、コップ洗ってない、脱衣所の制服をなおしてない、と。
常に物が一切落ちてない状態にしてないとダメで、子供たちのものが3つ落ちてたりカウンターテーブルにノートやら物を置いてたりすると足の踏み場がない、ゴミ屋敷、といいます。
私が家事を完璧に出来てないのがいけないんだと思いますが、私もフルパートで毎日ワンオペで仕事して買い物して帰ってくるのは7時前。そこからご飯作り、洗濯物たたみと干す、お風呂、掃除機、1年生の宿題やら連絡ファイルチェック等して私がご飯食べるのは21時、22時。主人の帰って来る日はそこから主人のご飯の支度。

朝は5時に起き、洗濯物干したり子供の朝食作り、主人と私のお弁当作り、ゴミ出し、雨の日は子供の送迎、食器洗い、私の朝の身支度。8時前には出勤しています。
自己免疫疾患もあって疲れやすく、ここ何年かでひどくなってます。
今朝のことがあり、完璧を求めるなら短時間パートにすると言ったら俺はフルで働けとは言ってない、俺の収入が20万とかに減っていいんなら毎日帰る仕事にするけど？みたいなバカにした感じです。以前も、俺と同じくらい稼いでくれば俺はゆっくりできるのに、と言われてびっくりしたことがありました。
完璧主義だから、目についたことは自分でしてくれます。でもすぐ私がそれに気づいてくれないと機嫌が悪くなります。
子供たちもお父さんがいると2階からおりてこなかったり、顔色を見ています。もう離婚したほうがいいのでしょうか。疲れました。