浮気許したい

一般的なご意見を教えてください。 結婚3年目 子供が6ヶ月になります。 先日主人の浮気が判明しました。 産後1ヶ月から数回飲みにいき手を繋いだりキスをしたり連絡を頻度にとっていました。 産前も別の女の子と飲みに行った事が2回ありました。 その都度軽く話し合い、飲みに行くのは構わない、隠す事が嫌だと伝え仲直りし仲良く暮らしていたと思います。 ですが、今回離婚を考えていると言われ浮気が判明しました。 おそらくそちらの女の子とうまくいきそうと思ったようでした。 結局、そちらの女の子と話してみるとその気はなさそうでした。 話し合いが続き、子供の面会など実際話し合いをすると離婚はしたくないと言われ再構築を考えています。 主人の言い分では私の普段の生活態度に不満があり浮気が原因ではなく離れたいから離婚したいと思ったとの事でした。 現在は産休ですが、もともと家事は全て私がしており、その事に対し不満を伝えたり、要領が悪く失敗したときなど怒ったり傷つける事を言ったと自覚しています。 家事は私のこだわりがありしても文句言われるからそれでしないと言われるのが腹立つと。 ただ一回料理をしてくれた事がありその際は感激しましたがそれもそれっきり。 また、主人の仕事が激務もあり 休みの日はほとんど寝ているだけで家族の時間もとれません。 ただ無理矢理起こして出掛けても本当にしんどうそうで機嫌が悪く楽しくはありません。 お互い悪かったのだからお互い許して頑張ろうと思っているのですが、 家族の時間もなく楽しみもないのに、一番しんどい時に裏切った人の為に家事をして言葉遣いを気にして、そんな自分に疲れ、また怒ってしまうというループです。 話し合いをすると息子の為だけではなく離婚はしたくないとなるのですが、お互いに休みの日に長時間一緒にいるのが精神的にしんどいです。 もう離婚するべきでしょうか？