貯金のための別居って変ですか？

現在、夫と息子（３歳）娘（0歳）の四人暮らしです。 借金（奨学金）が100万円程あります。 夫は３月まで専門学生で４月から働きに出ますが、 最近夫にうちの実家で同居しない？と提案されました。理由は、 ・貯金をしたい（100万円貯めたい） ・息子が喘息があり夜中発作が起きたら大変だし、新生児で夜中授乳等あるのにそんな中３人置いて夜勤なども心配でできない。また、夜勤中に浮気されたくない。 ・わたしが働きに出るなら別れる ちなみに浮気はしたことありません。わたしは同居は無理だし、夜中に発作や喘息が起きたり授乳などもわたしは苦ではないことを伝え、4人で生活できるのだから4人でいたいと断ったのですが、夫も諦めきれないようで同居しなきゃ別れると言われ、同居を一回承諾してしまいました。 アパートの解約手続きも進め、あちらの家族にも同居することを伝えてしまったのですが同居のことを考えるとやはり嫌で夫に嫌だということを言うと激怒されました。 わたしが同居が嫌な理由は ・夫と喧嘩などの時に義母と義祖母と兄弟が必要以上に間に入ってきて夫の味方をする ・家が狭いのに、住んでいる人数がものすごく多くて寝るスペースくらいしかない（義母・義祖母・義祖父・曾祖母・弟・妹） ・気をつかう 一度は承諾してしまいましたが、同居するとわたしが耐えられない気がします。 臨月の時に夫が朝帰りしてこようが女の子と２人で遊ぼうが、わたしに暴力振ってアザができようが「まったく…」で終わらすような感じです アパートも解約してしまったので、お互いに実家も近いし100万円貯まるまでお互いの実家で住もうと言うことになったのですが、義母が別居はするなとすごく腹を立てています。「あなた達が嫌だとかいう気持ちはどうでもいい。家族なのに別居してたらこのまま離婚になるよ」と。やはり嫁のわたしが我慢して同居した方がいいと思いますか？