結婚4年目の都内に住む者です。義理の弟に関してです。

主人は、年上で生まれも育ちも東京です。義理の弟も年上です。
結婚前に同棲期間があり二人でマンションに住み、今は、実家近くのマンションに住んでいます。

実家には義母と義理の弟が住んでいます。

義理の弟は、義父が亡くなるまで仕事をしていませんでした。（病気だと言っていますが、よく知りません）義父が亡くなり、やっと仕事をするようになりました。過去に借金があり、債務整理をせざる得なくなったと聞いています。だらしないです。あまりかかわりたくありません。
そして、これからの結婚の可能性は低いです。

最近、賃貸のマンションに住むことに疑問を持つようになりました。
最初は、楽しんで暮らしていたのですが、家賃を払っていくのがもったいなく思えてきました。
以前、夫婦で義理の弟に家の話をしたら、まともに相手をしたら頭に来るような会話をする人だったので以来話をしていません。

主人は長男なので、いずれは実家に暮らすつもりだと思うのですが、義理の弟がいる限り住むことはないと思います。

この場合、長男だから次男は家を出ていくという考えはおかしいでしょうか。