無職義弟と同居

33歳　派遣社員です。
夫（36）義両親（59,57）義弟(33)との５人暮らしです。
昨年、２世帯住宅を建てました。
同居の話が出たときに、私は“無職弟との同居は絶対に嫌。二人で住む家を建てよう”と夫に話しましたが、長男である夫は“いずれ親と同居することを望まれている。家が出来るまでに弟を働かせる。家を建てるなら同居できる家を”という考えを通しました。
義弟は高校を出て、正社員を２年で辞め、その後は数ヶ月アルバイトをしては辞めるという生活を10年くらい続け、最近３年は全く働いていません。
義両親と夫から義弟に働くように話をしましたが、｢働く気はある｣とは言いうものの、積極的な活動はしていませんでした。
現在、同居が始まり５ヶ月になります。義弟以外は働きに出ているので、どのように就活しているか、家族のだれもよく分かっていません。
今までに何度が家族会議をしましたが、｢探してる。面接行ってきた。｣と言うので、様子を見ている状態です。
働かなくても、衣食住に困らず、たばこを吸い、車を持つ生活ができている弟は、本気になって仕事を探す事も、仮に見つかったとして続けることもできないと私は思うので、夫とともに家を出たいと思っています。夫はせっかく建てた家なので、出て行くぐらいなら弟を追い出すといいますが、行動には移しません。
土地は舅名義、住宅ローンは舅と夫で1/2ずつ借りています。住宅ローンごと家をそのまま義理家族に渡し、私たち夫婦で別の生活を始めるために適切な手順を教えていただければと思います。（口頭で義理親に伝え、返済用通帳を渡して家を出ることを考えていますが、債権者に対しての義務を放棄する事がひっかかり、きちんとした方法がないかを探しています。返済が滞って家が競売にかけられるのは覚悟の上です。）
また、煮え切らない夫への説得方法などもアドバイスお願いします。