主人の両親と同居なのに、主人が両親と一緒にいたくないと言う

主人が家を継ぐということで、義父の紹介で仕事を転職し半年前、主人の実家に帰ってきました。いきなり同居は嫌だったので、別居したいと申し出ていましたが、転職後の主人の給料が少なすぎるのと、私が育児中（娘当時６か月）で働けないという経済的理由で同居がはじまりました。 最初はいろいろありましたが、義両親も孫がかわいくなってきたのか良く遊んでくれるようになり、義両親と私で団らんする事も多くなってきました。 ところが、夕方主人が帰宅後、義親がずっと孫と遊んでいると、主人が部屋へこもるようになりました。義親が孫や私とずっと一緒にいるのが気に食わない様子です。 そして夕方帰宅後も週５でバイトで働くと言いだしました。 主人が怒るかもしれないので、義親には何も相談していませんが、主人が子供のころ義親が、主人の祖母と自分が遊んでいたら怒って引き離し、祖母が部屋で泣いていたのを根に持っているようです。 私としては、同居しているのだから、義両親と団らんするのは、娘にとってもよいと思い賛成なのですが、主人にとって家族は私と娘だけで３人で団らんしたいそうです。 主人の考えは理不尽で、巻き込まれてる私は何なんだと思ってしまうのですが、みなさんはどう考えられますか。