離婚するしかないのでしょうか

夫婦ともに４４歳。結婚19年で子供は３人（高３、小６、小３）です。 4年前主人の浮気が発覚しました。 相手はSNSで知り合い、既婚者のＷ不倫でした。彼女とも電話で話し、別れるということで再構築を選びました。 昨年まだその相手と続いていたことがわかり、相手に慰謝料請求しました。 すると、相手方はすでに離婚しており、その際主人との浮気が相手方のご主人にバレていました。 主人に対しての慰謝料を彼女が立替えて（主人は借用書を書いていました）支払っていて、今回私が請求した慰謝料をその借用書を理由に相殺されました。 双方弁護士を立て、彼女が慰謝料を支払うとうちの主人に対して返済を求めると言われ、そのときは主人も家族とやり直したい、彼女とは終わりにすると言い、なにより私も主人と離婚はしたくなかったので相殺しました。 彼女は結果的にはもう関係を清算すると合意書を書きましたが直前まで主人への気持ちは本気です、一緒になりたい、離婚してくださいと私に言ってきていました。 しばらくは平穏にすごしていましたが、半年ほどして、主人から何度か離婚したいと言われるようになりました。 離婚話さえしなければ日常生活は普段どおりです。 ただ、最近は年度末には出ていきたい、養育費と慰謝料は払うので調停を申し立ててほしいとまで言い出しました。 出ていってから離婚成立まで生活費としていくら必要かと聞かれたので主人のほぼ手取り額を伝えました。 そこから話は進んでいません。 正直、主人のことはまだ諦めきれません。でも私に対して気持ちがないのもわかっています。子供たちのことを考えると父親としてはいい父親だし、収入面でもいてくれると助かります。 私が動かなければ離婚することはないと思うます。 でもやはり虚しさも募ります。 私は主人のことを解放してあげた方がいいのでしょうか？