親子三世帯の同居

こんにちは！開いていただいて、ありがとうございます！
私には今、一歳の子供がいて主人の実家で、一階は義理の祖父母。二階に義理の両親と弟と私達、という親子三世帯の同居をしています。
そのことで最近悩みが出来たので、この場で相談させて頂こうと思い投稿しました。

悩みと言うのは、まず
昼間どこかに出かけると、祖母がこっそり主人に告げ口します。一日一回は祖父母に孫を会わせないと主人にまた告げ口されます。
義理の両親は共働きで、土日しか家にいません。休みの日になると私がちょっと離れた隙に子供を連れてどこかに行って二時間くらい帰ってきません。
それがすごく嫌で土日は予定を作って出かけますが、義理の両親達はいい顔しません。

そんなこともあり、出かけるのも家にいるのも嫌になってしまいました。
義理の家族の夕飯を作り、お風呂を洗って、掃除をして、、そんな毎日が嫌になってしまいました。

一日一回は祖父母に会わせないといけないんでしょうか？子供をどこかに連れてかれて、いちいち怒ってる私がおかしいんでしょうか？

とっても乱文になってしまいましたが、
客観的な意見を聞かせてください
お願いします！！！