困った義母＆その妹

30代男性会社員です。妻は出戻りの実家暮らし中に私（初婚）と結婚しました。私は東京近郊に戸建てを建てていたのでそこに彼女が来た形です。
私の両親はバツイチ女との結婚など許さない、と怒り狂いました。
「子持ちならともかく、バツイチだけでそこまで怒らなくても」と思いましたが、怒り狂って説得どころではなく絶縁となりました。妻は料理上手で綺麗好きで家事能力がとても高いです。マメな性格で家計もエクセルでちゃんと管理してくれて助かっています。

そして今回、義母＆その妹が、義父が亡くなったら将来的に私の家に同居する約束をして欲しいと迫って来ました。義母は義母妹ととても仲がよく、義母妹も離婚していて義実家に身を寄せているのです。今は姉妹でタッグを組んで義父を完全にやっつけています。

私は結婚にあたり妻と、「自分は絶縁された身だし親のことで迷惑はかけない。だからあなたの両親にも迷惑はかけられたくない。最低限の義理として金銭的な援助が必要なら家計に響かない程度で協力するのは吝かではないけど、同居は絶対ありえない。」と話したところ、妻は「私が昔、クズな男にだまされたせいで、結果的にあなたをご両親と絶縁させてしまった以上、この家をあなたが過ごし易い環境にするために私が最大限の努力するのは当然。だから同居はない。それに兄がいるから。」と同意してくれました。

しかし義母＆妹は義兄の３ＬＤＫマンションで同居は物理的に無理と悟り、私の家にロックオンしたようです。義両親の家は借家なので、義父の稼ぎがなくなっても家賃を払い続けなければならないんですが、それでは貯金が目減りする一方で辛いと言います（タダで俺の家に住む気なのか、と）。

妻は「私がキッチリ断るから気にしないで。」と言いますが、ここは夫としてガツンと言ったほうがいいのでしょうか。それとも妻がそう言う以上は任せるべきでしょうか。