結婚生活を続けていいのか？

以前、こちらで妊娠中モラハラ夫の事のトピを立てた者です。 現在4歳と1歳の子供がいます。 離婚になかなか踏み切れずにいます。 現在、経済力に関しては問題なく専業主婦で子供を育てています。 しかし、紆余曲折あり随分主人のモラハラが改善してきたものの、根本はなかなか変わらないのでいまだに暴言や見下した発言などがあります。 幸せな結婚をする友人や周囲の人を見るたびに、辛い気持ちになるので やはり離婚した方がいいのだろうかと思いますが、時期的に今でいいのだろうか？と不安があります。 子供が小さいのと、主人が少し改善したことにより前より過ごしやすくなったのは事実だからです。 ただ気持ちは正直ですし、マイナスや人を否定する発言はとても受け入れられるものではないです。 おそらく普通の人から見れば夫婦関係は破綻しているのかもしれません。 主人は感覚が普通の人と違うので、夫婦はこんなものだと思っているようですが…。 いつかは離婚するとは思いますが、それは今じゃない方がいいのでしょうか？ 主人とは何度もそういう話になりましたが、結局私の我慢にかかっているのでしないままに至っています。 経済的に恵まれている今、すぐ離婚することで子供は不幸にならないのでしょうか？ とりとめのない質問で申し訳ありません。