【離婚の判断】間違っているのだろうか

離婚すべきか凄い悩んでおります。私３１歳、妻３０歳、子供２歳、結婚３年の共働き夫婦です（都内在住）。

子育ての分担は、半々で負担しており、子供はもの凄くかわいいです。
先日、妻が私の親に子供を合わせない宣言をしました。その理由は、子供が生まれた２日後に母が産院に来た際に（私は居ませんでした）、母が妻のまえで「知遅れでなくて、正常の子だったらいいね」という発言をしたからとのことです。
それ以外にも、母は妻に対して、「こんな小さいのに保育園に入れられてかわいそう」という発言があり、もう二度と会わないと宣言し、子供も合わせないと言っています。

たしかに、母は少し、配慮が足りず私から見ても「なんでそんなこといいやがるんだ」と感じる失言が多いですが、妻が嫌っているのをわかっているので、ここ１年は二人を会わせていません。

妻の性格は攻撃的で、路上で肩がぶつかったり、レジで割りこまれたりすると、「割り込むんじゃねー、殴るぞ！」と言ったり、４歳ぐらいの子供が児童館でうちの子供の足を踏んだ際は、「あっちいきやがれ！シッシ」というヒステリックな性格であり、私の些細なミスでも（電気の消し忘れ）でも、「だらしない！」と怒鳴り、家に帰ってきても毎日ネチネチ言われ、正直妻は嫌いです（SEXは子供が生まれてから１度もなし）。

ただ、子供がかわいくて離婚をすると、会えなくなることや妻が子供に私の悪口を吹き込んで、育てる気がしてそれが辛くてたまりません。

母に関しては、私が反抗期に暴れまくってガラスを割ったりした時期もありましたが、白髪を増やしながらずっと愛情をもって育ててくれたので、子供を会わせない発言はとても辛いです。

そのため、離婚を考えているのですが、子供のことを思うと、なかなか言い出せません。

離婚の判断は間違っているでしょうか？アドバイスをお願いします。