親と同居か子供と二人で暮らすか

1歳の子を持つ20代後半の母親です。
夫と離婚が確定し、育休中のため仕事復帰し、シングルマザーとしてやっていくことになりました。養育費等は請求しますが期待できません。復帰後の年収は450万ほどになります。
両親は子供がまだ小さく、仕事をフルタイムで復帰するので実家に帰ってくるよう言ってくれています。私も仕事をするには両親がいるととても助かるので実家に帰りたい気持ちもあります。ただ、実家に同居している兄のことが気になり、帰ることをためらっています。
兄は昔でいうパラサイトシングルで、30も越えたのに生活費は入れず、親の車を乗り回し暮らしています。アルバイト生活を最近やっと抜け出し派遣社員として働いていますがそれもいつまで続くかわかりません。
普段は穏やかですが、怒ると手が出るタイプなので、両親も怖くて何も言えない状況です。
私も表面上は仲良く話すし、子供のことも可愛がってくれますが、今後本人は自立するつもりはないと思われ、嫌悪感もあります。
私は今後再婚する気はなく、両親は60代なので老後の面倒も私がみたいと思っています。
両親の老後を考えると今の家ではいろいろ不便で、新築する資金も必要になってきそうです。
同居できるのならば、私がその資金を貯めようと思いますが、別で暮らすのならばそこまで貯金するのは難しいです。
兄の生き方を子供にあまり見せたくない気持ちもあります。
そこで、同居せず家の新築は諦め、実家の近くで子供と二人で暮らすか、兄のいる実家に同居するか、どうすべきだと思いますか？
初めての投稿で不慣れなため、情報不足の部分も多いと思いますが、よろしくお願い致します。