敷地内同居、独居の義父。構ってあげなきゃいけないの？

夫親と敷地内同居。小学～年中3児の母、専業主婦です。
2年前義母が急死しました。
それ以来義父の3食のお世話、夕食はこちらに呼んで一緒に食事です。夫不在時も一緒に食事してます。洗濯は自分でするからと私にさせようとしませんが、ほとんどせず、毎日同じ物を着て臭う事もあります。やっぱり私がすると言っても嫌がってさせません。
義父は義母が亡くなったショックが大きいのも分かりますが、畑もしなくなり、外の人と関わろうともせず、毎日家にいるだけです。夫も私も自分の生活変えて義父をサポートしてるのに、自分は何も変わろうと努力もせず、淋しがっているだけで、私には甘えてるように見えます。正直私は何もお世話になった覚えも無く、家族とも思えず、性格も合わず、義父とはなるべく関わりたくないと思ってしまいます。
最近毎日のように些細な体調不良を訴え、夫を仕事から呼び戻したり、夫が捕まらないとウチに上がり込んで、私に怒鳴るように訴えてきたりするようになりました。私はそれがストレスで冷たい対応をしてしまう事も、喧嘩のようになるようにもなり…夫は私は悪くないと言ってくれていますが。
今日義姉から、1日1回でいいから、顔見に行って声かけてあげて欲しい。淋しくて仕方ないみたい。今でも充分やってくれてる、義姉が私の立場だったら、同じようにできるかわからない、頑張ってくれてるの分かってるけど、どうしても淋しくて不安になってしまうみたいだからお願い。と言われました。私はそれが気が重くて仕方ありません。
最近の言動で私も夫も認知症を疑い、ケアマネに相談もしていますが、何らかのサポートを利用するまで時間がかかりそうです。
そんな状態の義父と、これ以上関わりたくないと思ってしまう私は冷たいのでしょうか？嫌でも無理して構ってあげなければならないのでしょうか？
夫を悲しませたくない、苦しませたくない気持ちもあり、辛いです。