DV被害者のこの先

はじめまして。40代女既婚のものです。
幼い頃から父親の度重なる暴力で、今でも思い出すたび怒りに満ちた気持ちになります。

先日、コロナ禍で遠のいていた実家に6年ぶりに夫婦で行きました。
70代後半の両親は少し丸くなっていると期待していました。
しかし、電車に乗るときに母が歩くのが遅くて間に合わないのを急いでやっと車内に到着した母を父が烈火のごとく罵倒し、私は正直「父に早く死んでもらいたい」とすら思ってしまいました。

幼少の頃から、母と私に対する父の暴力はすざまじく、私は殴られた顔で学校へ行っていました。
友達がそれに気づき「怪我しているよ、大丈夫？」私は「転んじゃったの」と誤魔化すよりありませんでした。

父は体裁だけは良く、県内の学校の要職についていましたので、私は父の暴力を絶対にだれにも言えませんでした。しかし父の暴力は私が大学で家を離れるまで続きました。

幼少期、両親の不和と父からの暴力で私は抜毛癖にも悩まされて、周囲から心配されるエピソードもあります。

父の支配と母の服従みたいな夫婦の構図が出来上がっており、私も弟は自分たちの居場所がありませんでした。
高校時代のある日、階下でドタバタ音がし、また喧嘩をしているなと分かったとき、私は弟に「大学はなりたい職業につくために行こう、もう少しの辛抱だよ、頑張ろうね」と声をかけました。

幸い希望の大学に行けましたが、大学ではみんなが開放的なのにあまり楽しめない自分がいました。
この時、父への恨みや男性をバカにしてしまうような（本当の意味で好きになれない）自分にも悩みました。

就職して、社会の厳しさに愛着の問題を抱えた自分はどこか頑張りきれません。
途中でうまくいかなくて、鬱にもなりました。そんな折、最近父が私たち夫婦と一緒に暮らしたいと言ってきたのです。
断りたいのですがどうしたら良いでしょうか？
ご意見お聞かせください。