お互いが有責配偶者という事はありますか？

長文ですみません。主人の不倫が原因で離婚を考えています。結婚して13年になりますが、女癖が悪く合コンに行ったり昔の彼女に連絡を取ったりと浮気を疑わせることが何度となくありました。モラハラや手をあげられたことも何度となくあります。長く連れ添ってきた情や僅かな信頼もあり、探偵を頼んでまで・・とグレーゾーンを見過ごしてきました。しかし2年前不倫していた事が明らかとなり(相手は職場のバイトさんで当時は噂になっていたそうです)主人も不倫は認めています。
私は当時フルタイムで8:00-19:00まで働き、子育て、家事に奔走していましたが、仕事も責任者のポストがあり充実していたので苦ではありませんでした。しかし主人が家事や育児が十分でないから退職して欲しいと言うので話し合いの末、泣く泣く辞めました。それを思うと不倫の事実は大きすぎて無かったことにできません。
発覚当初、離婚はしたくないという主人の気持ちもあり、相手に慰謝料請求してやり直す努力をする事にしましたが浮気の証拠が主人の自白のみという何とも危ない状態です。(メールなどは残っていますが、過去の事なので今証拠を集めることが難しいです)そこで自白内容を紙に書いて署名して欲しいと言った所、態度が変わりました。いろいろ調べてから書く、と言ったきり完全無視です。そしてなぜか離婚する方向へ話がすすみ、主人はせっせと私の粗を探しています。(マナーカメラを使って部屋の片付いてない部分を撮る、私の手帳などを撮り行動を記録？)夫婦として今までやってきた事を考えてボイスレコーダーなども使用しなかったのに・・
そこで、質問なのですが私は不倫をした主人を有責配偶者とし、主人が家事を疎かにした私を有責配偶者とし双方慰謝料請求なんていう話はあるものなんでしょうか。疎かといっても食事は毎食作っていますし、掃除機も日に1度はかけます。