人が怖いです

昔のことを引きずってしまいます。
私は小さい頃、母に否定されながら生きてきました。運動神経も悪く、頭も悪く、何の取り柄もなかったというか、人が普通にこなせる事を私は出来なくて「なんでそんな事も出来ないの」と毎日叩かれていました。父は家庭のことは放置気味で、夜勤なのもあって、あまり会っていません。だから母は祖母の家(母の母)に行くと父の悪口をよく言っていました。母によると、私は父に性格が似ているらしく、祖母と母で私に聞こえる声で「まるちゃんはパパに似て最低な子」と毎回2人で笑いながら話してるのを聞こえないフリをして耐えていました。
小学6年生の頃、母の不倫が父にバレて離婚し、祖母の家に行く事になりました。私が風邪の時にみんなですき焼きを食べるとか、嫌がらせが酷くて辛かったのですが、母は祖母の几帳面さが合わなくなったのか、私が中学生の頃に、アパートに引っ越しました。周りの子に「また引っ越したんだ」と笑われ「なんで引越しばっかりするのー？」と面白おかしく言われて、同級生に対しても信頼出来なくなりました。
スマホを母と共同で使っていたら、色んな男から母に連絡が入っているのを思わず見てしまって、私の事をいらないと言ってるのを見てしまいました。こんな見ず知らずのおじさんと一緒に、私の事バカにされたのだと、あまりに辛くて、周りの人全員私の事悪く思ってるんじゃないかと怖くなって、学校に行けなくなりました。
他人が怖くて外に出られなくなり、高校も中退してしまって今はニートです。甘ったれてますよね。弟と妹はちゃんと母に愛されて育ったので、羨ましくて憎いです。母はここ何年かで少し落ち着いて、私の事養ってくれてるのに、昔の事を思うと母を憎いと最低な事を思ってしまいます。家族から離れたいです。
どうしたら他人が怖くなくなりますか。アドバイスお願いします。