母親の隣に住むべきかどうか

来年小学校に上がる子どもが一人いる主婦です。
電車で一時間ほど離れたところに母が住んでおり、この度母の敷地の隣に家を建てて住む話が持ち上がったのですが、悩んでいます。
メリット、デメリットを長くなりますが書きますので、ぜひ一緒に考えていただければ嬉しいです。
なお、現在私は借家に住んでいて、父は既に亡くなっています。

●デメリット
・親族の敷地に隣接して住まねばならない
私は「母の支配に苦しんできた娘」で、結婚、出産を経てようやく母に反論できるようになりましたが、いまだに母の気分によって優しくされたり馬鹿にされたり言葉で傷つけられたりと、関係は良好とはいえません。
また、やはり隣接した敷地に兄夫婦も住んでおり、今のところ関係は良くも悪くもありませんが、それが変化するのではと不安です。
・環境が悪い
建設予定地は住宅密集地で、非常に人の出入りの多い施設の向かいで騒音、治安に不安があり、幼い子供を育てる環境に適しているか心配です。
・兄夫婦は非常に多忙なため、母の経営しているアパートの管理、墓の管理、また将来は母の介護など私に負担がかかりそう
母の介護は当然引き受ける覚悟ですが、事業と家を継承する
兄の果たすべき役割まで引き受けたくはありません。

●メリット
・生活は大変便利になる
夫の勤務先には今の住まいよりずっと近くなり、子供の小学校も、駅も商店も近く、都会へのアクセスも大変良い場所です。
・土地代が実質タダなので、経済的な負担が少ない
もちろん、固定資産税その他の税金は了解していますが、自己資金内で建てることが可能です。
土地の相続もする予定ですが、兄はより広い価値のある動産を相続する予定で、親族内では了解済みです。（母も一筆書いてくれる予定）
続きます。