義理の祖父母との同居/愚痴を言われています

結婚して4年目になる専業主婦です。事情があり、1年前から主人の祖父母と同居しています。主人の家庭は母子家庭で小さな時から祖父母が実の親のように育ててくれたそうで、とても距離が近いです。祖父母は表面的にはとても優しく、温厚で、今まで一度も喧嘩や文句を言われたことはありません。ただ、他家族に私たちの悪口を言っているというのを祖父母抜きの家族での食事会の際に知りました。主人は仕事が忙しく、平日は祖父母とほぼ顔を合わすことがないのですが、私は私なりに1日に1時間くらい二人の話し相手になったり、他にも掃除や家事の手伝いをしたりできることはしているつもりです。しかし、それでも何かしら祖父母にとって気に喰わないことがあるようで、それを他の家族メンバーに愚痴っているようです。祖父母は毎日のように家族や友人の愚痴を言い合っているのですが、義理の妹から直接「あなたたちのこと怒ってたよ」と言われて、正直傷つきました。祖母はお年なのもあり賞味期限がかなり切れたものやカビの生えた残り物を冷蔵庫に入れたままにしており、たまに一緒にとる夕食時にはそれを食べるよう強要してきます。そのため、祖父母が旅行中に主人と2人で祖父母の冷蔵庫の掃除をしました。かなり汚れていたので部品も全て洗い、カビた食材は捨てました。祖父から「掃除してくれてありがとう」と言われましたが、実際はそのことで私たちにかなり怒っていたようです。勝手に掃除されたのが嫌だったんだと思います。小さな親切大きなお世話になってしまったことは反省していますが、それをなぜか家族全員が知っており食事会で茶化すように言われたことが恥ずかしく、また惨めでしたです。何をしても何かしら不満に思われてしんどいです。また、たわいの無い会話をするのも、また何か言われるんじゃと思って怖くなりました。どう関わればいいのが悩んでいます。アドバイス宜しくお願いします。