20歳大学生なのですが家を出ようか考えています。

文章が長くなることをお許しください。

私の父は、農家の長男で小さいころから跡取りとしてだいぶ甘やかされて育ってきたそうです(複数の親戚談)そのせいか、大人になった今でも我儘で、何でも子供の私達を使ったり、自分でそれも出来ないの？というような雑用も押し付けてきます。自分の嫌だと思うことはしなくても許される環境で育ったみたいです。
また、一番下の弟(現在小学6年生)が障害とまではいかないのですが、すごく軽度の発達障害だということが分かり、中学は特別学級に進むことになりました。それを父は弟に向かってあからさまに「お前はやっぱり他の人と比べておかしいんだな。」と極端な言い方をすれば差別するような発言が目立つようになってきました。
子供のまま成長した父なのであまり子供のことを優先して考えてくれず、高校受験の勉強を塾の自習室でしていて、深夜12時になってしまった妹を家まで歩いて帰ってこさせたりしました。(塾から家までは歩いて1時間かかります。普段は母が送り迎えをしてくれているのですが、その日は母が同窓会に行っていたため不在でした。)そのことを母が後日指摘し、妹も泣きながら追求したら父は「俺はその時は仕事が忙しくて自殺したいくらいの心境だったんだ。お前らの事を考えている余裕なんてない。」とキレ、妹の顔面(主に目のあたり)を殴りました。妹はそれにより視力を著しく落としてしまい、修学旅行で行うはずだったダイビングにも参加できなかったそうです。

私自身、｢俺が稼いでいるんだから文句言うな。｣「嫌なら大学の金を払わない。」など言われており、大学を辞めて家を出て行こうか悩んでいます。ですが、残された母や兄弟のその後の事を考えると一人だけ楽な選択をするのに罪悪感を感じる部分もあります。何か良い方法はないでしょうか？とても読みにくい文章で申し訳ないです。