お子さんに障がいのある方、義理の両親との関係は良好ですか？

長年の不妊治療の末、幸運にも娘を授かりました。出産時のトラブルにより重度の障がいがあります。
この子を連れて離婚しようと考えています。

義理の両親は娘のことを可愛がり、いつも気にかけてくれます。とても感謝しています。
でも私は出産当時、義理の両親に責められたことが頭から離れません。今でも「やっぱり普通の学校には行けないの？」とか、あそこの孫は～、あそこの嫁が三人目を生んで～などの話題が出るたびにびくびくしてしまいます。

主人は何代も続く旧家の一人っ子です。跡取りが必要です。
義理の両親は、以前から孫以上の楽しみはないとよく言っていましたが私には叶えられません。
出産前から義理の両親は私に関するあらゆることに干渉・批判しました。純粋な親心で悪気は全くないそうです。でも何か言われるたびに落ち込んでしまい最近では「それなら健康であなた達が気に入った女性に、家を継ぐことができる孫を生んでもらえば？」と思ってしまいます。主人も若い今ならやり直しがききます。

似たような状況の方がいましたら、義理の両親や実両親との関係はどうですか？離婚を考えたことはありますか？
ぜひお聞きしたいです。よろしくお願いします。

補足です。 主人に愛情はあります。実家と縁を切って３人でやっていこうと言ってくれます。でも、主人と別れてでも義両親から逃げたいと思ってしまうのです。私は身勝手で卑屈な人間です(泣)主人と娘の気持ちを全く考えていません。でも考える余裕がありません。幸い離婚しても経済的にはやっていけると思いますが一人で育てていけるのか。。。なんだか疲れてしまいました。