【冷たいですか？】義祖父との別居

こんばんは。 義祖父と別居したいと考えていますが、私は人として冷たいでしょうか？ 一般的なご意見が聞きたく、投稿させて頂きます。 主人・私・義祖父（主人の母方の祖父で90歳、娘が2人）で5年ほど同居しています。 家は義祖父の持ち家で、少ないながらも毎月家賃を渡しています。 元々、私たち夫婦に経済力が無いことから同居させてもらっていました。 義祖父は身の回りのことは自分でできるものの、体調を崩し倒れる事も何度かあり、その度病院へは私たちが連れて行っています。 ここ最近、自分の家ではないこと・私たち夫婦が実質使える部屋は1部屋・義理の家族のいらないもので部屋が埋まっている・義理の家族が遊びに来た時片づけを一切しない・・・等で私のストレスがたまり、別居したいと思うようになりました。 経済的な援助は受けていないものの、義祖父がいるのに別居して自分たちの家が欲しい、自分たちだけで生活したい、と思ってしまう私は冷たいでしょうか？ 実際、これからどんどん義祖父が体の自由が聞かなくなった時、介護をしたくないという思いがあります。。 主人の母に「これから祖父の体調が悪化した時はどうするのか」主人から聞いて貰いましたが、話したくなさそう＆その時考えればいい、と言われました。義祖父の家は姉妹で財産分与する、とも。。 義理母は離婚後再婚し、その相手と暮らしています。 恐らく私たち夫婦に面倒は任せたいのだと思います。。 私たちは共働きで、これから稼いだり子どもを作ったりしたいので、介護する余裕はないんですが。。 主人には悩みを打ち明けた所、引っ越そうといってくれたのですが、義理母に話す時にもめそうです。 やはり私のワガママなのでしょうか。。？ 皆さま、どうかご教示ください。