こんにちは。今義母について悩んでいます

義両親と私は仲が良いです
夫は次男で今は同じ市内のアパートに引っ越し住んでいます

結婚当初から義母は同居を勧めてきました。
私は今の関係が好きだったので夫に気持ちを伝えて
夫から遠回しに断ってもらってました。

暫くして県外に出ていた長男が帰ってきたので
義母は何も言わなくなり私もホッとしていたのですが
今度長男がまた出ていくことになり
そのうえもう地元へ帰って来ないと言いだしました

その長男の発言があった数日後
私達夫婦と義両親で外食に行った際
帰り際に義母から「それでいつ戻ってくることにしたの？」
と言われました。

私はとても驚き、夫を見ると
夫も「え？」という顔で「何の話？」と聞きました

義母は「家に帰ってくる日は決まったの？って聞いてるのよ」
と…

私が複雑な顔で下を向いていたら、夫は
「お前達が婆さんの家にうつったら帰るよ」と言って
またビックリ。

お婆さんの家は義両親の家のすぐ裏です。
私は夫とそんな話をしたことはありません

夫がその場しのぎで誤魔化したと
最初は思っていたのですが後から話を聞くと
どうやらそれは本気のようです

私は「あなたは次男だし、家も古いし場所も不便だから
そこに移る気なんてない」と言うと

「土地はあるから建て直せばいいじゃん」と言うんです


夫は元々その地区が大好きだったので帰りたいみたいです

今もお金なくて子供が作れない状態なのに
建て直すなんて到底無理な話。

しかも義母も同じことを言っていたようで
頭が痛いです。どうにか今の状況を続けたく
夫と義母を説得したいのですが
どうすればいいでしょうか？
よかったらアドバイスお願いします