敷地内同居の義姉について

義姉は39歳独身で、夫が言うには、職に就いたこともなく、大学卒業してから、ずっと司法試験を受けているらしいです。
夫は何度も義父に『本人のために、自立させるべきだ』と言ってきたけど、聞く耳持たず。
本人出て行く気持ちもないし、追い出す権利もないですよね。
でも態度は義父よりもでかくて、いろいろ言われたのもあり、トラウマになり義姉と関わりたくない=義姉のいる母屋に行きたくないと思うようになり、義父とは夫がいる休日にたまに食事に誘ったり、子供たちだけ行かせたりしています。しかし、それでは義父が不満なのか、義姉が『父がもっと交流持ちたいのに、どうしてできないのか』(義父は隣にいます)みたいに言ってきて、私も子供3人の育児でいっぱいいっぱいで、平日はほとんど会わせていないので、怒っているのでしょうが、義父が言うならわかるのですが、義姉が言うことなのかな？ 義父に『平日は習い事や宿題で余裕がないのですみません』とは以前言ったのですが。
ちなみに、子供(7歳、6歳、1歳)です。
無理してでも、合わせた方がいいのでしょうか？