離婚に踏み切るべきか悩んでいます。

結婚して16年の会社員です。子供は3人,小学校中～高学年です。3年前に夫の不倫が発覚しました。別れると言うのでなんとか元の鞘に戻ったものの1年前の2年後関係が続いていることが分かりました。子供までノイローゼになるほどもめて、最終的に実家や嫁ぎ先、第三者に入ってもらい、当人同士も別れたとのことでまた一応は元の生活に戻りました。既にあれから1年以上経過しています。私は心療内科にかかったり、禅に通ったり、会社のバレーチームに入ったりしてなんとか気を紛らせてきて、主人もなんとかしようとしてくれてはいたようなんですが・・。先日疲れが溜まっていたこともあり、つい色々なことを思い出し、主人に当たってしまいました。私が興奮して何か言い出すといつも逆切れする人なので、慣れてはいるのですが、「浮気が悪いこととは思わない」「嘘もその場その場がよけれればそれでいい」というような自分の行動を肯定するようなことばかり言い始めました。私の身内にさえ「浮気が悪いと思わない」と明言する人なので仕方ないと言えば仕方ないのですが、「もうだめだな・・」と正直思ってしまいました。本人にそれを告げたところ、「このまま（仮面）夫婦」でいいとの事。私自身子供を3人1人で育てるのは経済的にかなり苦しいだろうと思うと今まで躊躇してきたのですが、皆さんのご意見をお聞かせください。
ちなみに主人は身体が弱く、結婚当初から2年に一度は入院し、その間私が働いて保険と私のわずかなパート代で食べてきました。それでも、5年前に建てた家は主人名義なので「お前にはやらない」との事です。