夫の実家を出たい

20代前半の女です。 結婚する前から夫の実家で同棲し、つい最近結婚しました。 夫の実家には義祖母が住んでいます。 夫の両親は夫が幼い頃に離婚していて、義父のみ1ヶ月に2回ほど土日に実家に帰ってきます。 義姉もいますが、家に探し物をしに来るくらいで滅多に帰って来ません。 義祖母は少々嫌味ったらしいところもありますが、嫌いではありません。 ただ、嫌いではないからと言ってもやっぱり気は使いますし、毎日疲れます。 生活はほぼ別ですが、義父が帰ってくる土日は一緒にご飯を食べるというルールになっています。 （これを嫌がると夫に嫌な顔をされてしまいます） 自立して2人で暮らすお金がないわけでもないのですが、義祖母が心配なのと、義父が反対するという理由で夫が実家を出ようとしません。 「子供が産まれたら干渉されるのも嫌だから実家を出よう」と夫に言われていますが、子供はしばらくいいということも言っていたので、かなり先になってしまいます。 あとは「祖母が亡くなったら家出られるかもな」とも言っていたので、それを言われてしまったら私が義祖母が亡くなるのを待っているみたいですごく嫌です。 嫌いじゃないのに、どんどん嫌なところが目に付いてしまって義祖母に対して態度や口には出しませんがイライラしたりしてしまいます。 夫に何度実家を出たいと言っても何も変わらないので困っています。