義祖母について

義祖母の家のすぐ隣に住んでいます。一人暮らしのせいか、私たちと一緒に過ごす時間を多く求めているようです。私は距離を置いて付き合いたいです。主人が仕事でほとんど家にいない為に義祖母と長時間いるのが辛いです。
　
やはり、食事なども私が作るべきなんでしょうか？我が家に時間関係なく訪れ、長居するのですが、それは我慢するべきですか？勝手に上がってきます。どこかに行くのを義祖母も連れていくべきですか？それらをしない私を周りに愚痴ってるようなんです。「寂しい」と。私からしたらひ孫に毎日会えて幸せだと思います。
　
周りの親戚は子供の面倒見てもらえてよかったねとか、言いますがストレスもあります。箇条書きにすると…
・愚痴が多いのと、育児についての口出しがあるので話していても楽しくない
・以前、ひどい発言をされた
・主人(義祖母からしたら孫)の失態を私のせいにする
・近所の人や公園にいるママさんに私の不出来を愚痴る。私の前で…です。
・干渉もあり、窓から私たちが出かけると覗いている
…などです。
義祖母の扶養義務はないので早くに引っ越したいですが、主人は義祖母の元気がなくなることを心配しています。