義父の介護したくないです。

長くなりますが相談させて下さい。 私達夫婦は共に40代です。 義両親は主人が幼いときに 義父のギャンブルによる家庭放棄と舅姑問題で 離婚したようです。親権は義母の浮気もあり義父になりましたが相変わらずギャンブルに明け暮れていたようで義祖母に育ててもらったそうです。そういう経緯もあり、主人は私家に婿入りする形で結婚しました。付かず離れずの距離で義両親とは付き合いをし、義母は再婚をして幸せに暮らしています。 義父はというと義祖母を施設に入れてから体調を崩し主人に頼るようになり、同居せざるをえない状況になりました。その際に主人は条件を義父に伝えました。 私達は共働きで残業もあるし、子供達は育ち盛りで手もかかる。ペットもいる。食事や家事が 遅くなる事もある。介護が必要な状態になったら介護施設に入所させる。義父を1番には考えられない事を義父に伝えました。 暮らして行くと徐々に食事、洗濯が遅いと苦情を言ってくるようになり、私は勤務先に相談し、在宅ワークにして貰いました。主人は幾度となく義父と話し合い…口論となって今では話すこともなくなりました。孫の差別をし私に遠回しに嫌味を言ってくる義父の事が嫌いです。当然介護も無理です。 今、義父は入院してますが病院でも主治医の先生と口論になって治療拒否しているそうです。その事を自慢してきました。もう無理だと思いました。主人も義姉も義父の事が大嫌いで顔も見たくないと言っています。義姉にいたっては絶縁状態です。 関わってるのは私だけです。施設に入所しても 退去させられてまた戻ってくる可能性もあって 本当に滅入ります。私はどうすればいいのでしょうか？