４０歳、実家を出るのを反対されている

４０歳、母と兄と暮らしています。 兄はバツイチで３年前出戻り、私は会社から実家が車で20分程度と近いこともあり家を出たことはありません。 過去に結婚話も出ましたが実家が苦しい時期に重なったり諸々あり今も独身です。 父はすでに亡くなっておりますが自営業の資金の返済があり私と兄で生計を支えています。 もともとの性格の合わなかった兄とは度々喧嘩が起きており、お前が出ていくか俺が出ていくかと言う話を繰り返しています（母はそんな姿を心配してますが私とも兄ともまあ上手くやっています）。 私としてはそういうからには兄が出て行くものだと思いましたが、３年たってもその気配がないので母と話し私が出ていくことを決めマンションも契約しました。 元々家に入れていた金額をゼロにするのは厳しいと思うので少し減額し払いきりつめた生活をするつもりですが、この段になって兄や親戚に我慢して女のお前が残るべきだろうと言われていて困惑しています。 正直私と兄だと一人暮らし歴のある兄の方が家事能力が上で、兄は福祉関係の仕事もしており能力的には問題ないです。 母は確かに７０代ですがまだ介護が必要ではなく遠く離れるわけではなく私もいつでも様子を見にいける距離にすみますし必要あれば戻る気持ちもありますが、母以外の人に親を見捨てるのかとつめられるとつまされる気持ちになります。 多少家事をしていて家にお金を入れたとはいえ今まで依存していると言われても仕方がない身分だったことにも引け目を感じており、この年になって悩んでるのが自分でも恥ずかしいのですがご意見いただけると幸いです。