義兄に鍵を返してもらうには？

義両親に、私達夫婦所有のマンションを賃貸で貸してます。 義両親が認知症のため、近くに呼び寄せたのです。 義兄は車で1時間くらいの所に住んでいて、定年になり暇になったせいが介護に通ってくるようになりました。 しかしいつのまにか夫がマンションの鍵を義兄に渡してしまい、なぜか泊まりで毎週3泊4日するようになってしまったのです。 義父は特養に入ったので、義兄が介護をする必要がなくなったのにも関わらず、毎週泊まっており、洗面台にはお泊まりグッズが並んでます。 私と夫のマンションなのに、もともと非常識で粗暴な義兄が勝手に許可なく泊まっているのがものすごく嫌です。 夫にもう義兄は必要ないのだから、鍵を返すようにお願いしてと頼むと、義兄が怒ったら嫌だからダメだと言われてしまいました。 遺産相続でごねられる可能性があるから、ここは穏便にと！お金がいらないならいいよとも。 本来味方になってくれないといけない夫なのに、角が立つと後々面倒だからという訳です。 大嫌いな義兄が好き勝手に私達のマンションに泊まっているのが気持ちが悪いし、義父のヘルパーさん達にも横暴な言動をしており、義母も会いたくないと言ってます。 どうしたら義兄から、マンションの鍵を返してもらえるでしょうか？ ちなみに現在義母が入院しております。 その間も勝手に泊まったりしたりしないかと考えると夜も眠れません。 どうぞよろしくお願いします。