４０才男。結婚１０年で専業主婦の妻と２人の子供がいます。
妻両親及び妻姉と、妻実家（賃貸）で同居しています。
妻姉は結婚当初は一人暮らし（正確には彼氏と同棲）していたのですが、５年前別れて実家に戻っています。

大学院卒で、地元ではそれなりの企業に勤務して、ある程度出世できたおかげで、妻と子供二人を養うだけの給与はいただいています。

結婚するとき、妻から「仕事がない両親が心配だから」という理由で同居しました。
その際の私の条件として

（１）家計は私（夫）が管理する。
（２）家賃や光熱費は人数割で支払う（結婚当初は２：２で今は３：４。ただし今は形骸化）
（３）生活費は決めた額渡すが、枠内なら不要。もし足りない場合には明細を提示すれば追加で渡す。
（４）将来、私たちの家を買う際は、介護等特別な事情がない限り、どちらの両親とも同居しない。

を提示し、合意しました。

今、貯金もある程度出来、そろそろ手狭（3LDK）の妻実家を出て、家を買うことを考えています。
これは妻も同意です。
しかし、妻両親から、自分達夫婦と姉を同居させて欲しいと話がありました。

しかし現在の状況として
（１）妻両親は職を転々とし、実質無職の状態が長い
（２）義姉も、仕事を探すと言いながら４年間全く仕事をしていない。
（３）そのため、家賃光熱費食費などは、なし崩し的に全て私たち夫婦が負担している。
（４）決めた生活費を毎月超えているが、その内訳が提示されない
以上をこちらから問い正すと
「私たちを飢え死にさせるつもり！」
と私批判の大合唱です。

離婚するにも子供のことを考えるとそうもいきません。
どうしたら良いのかわからなくなってきました。