完全二世帯を出ていきたい…

完全二世帯住宅を義父と夫の共同名義で建てて10年ほどたちます。1階が親で2階が私達家族が住んでいます。 義父母とは食事を一緒にしたり、たまに出かけたり仲は悪くなかったのですが、2年前に義弟が離婚して帰ってきました。一時的とのことですし、子供は嫁が引き取ると言っていました。が、子供も一緒に住むというのです。完全二世帯とはいえ、義弟が一時的に帰ってくること、子供も一緒に暮らすことなど相談もなく事後報告。子供に関していえば、義母がうちの息子に「(義弟の娘)一緒に住むことになったからよろしくね」と言い、私たち夫婦には報告も挨拶もありませんでした。 もともと義弟家族は嫌いでした。夫婦揃って事あるごとに貸してない、ちょうだいなどキリがないです。子供も無愛想でお礼も挨拶も謝罪もなし。 家の外に止めている友達の自転車にまたがりベルを鳴らし遊んでいたので、「友達の自転車なんだけど、あなたにとっては知らない人の自転車だよね？友達も誰あれ？って見てたんだよ。勝手に知らない人が使ってたらいい気はしないからやめてね」と言うと義母が「あなたは小学生だけど、(うちの息子)は中学生なんだから、ダメだよ」と…また、一度息子が学校に来ていないとの事で、3時間必死で探したのに下にいることが判明。義弟が外にいたから家に入れたと…フラフラされるよりはいいけど、一言言って欲しかったと伝えたら、義母が「そういうつもりじゃなかったはず」と…何か違わない？と思う事が増え、ストレスで自律神経失調症になりました。主人は味方でいてくれます。このまま義弟が居座りそうなので、家族で出ていきたいですがローンの問題もあるし…どう折り合いをつけたらいいと思いますか？