大学どうするか悩んでます

自分は現在３０代の男ですが、大学に通ってます。甘いと思われるかもですが、大学２度目です。
自分には発達障がいと二次障がいがあり、他人に対する不信感と不安感が非常に強く、友達もどんどん去っていきます。そのことをカミングアウトしました。しかし具合が悪く、休んだりしたら、きっと体調が悪く休んでると思われなく、信用されていないと思います。勉強面も集中できず、休むことが多々です。。これまで障害者の授産所などで働きもしました、が、人間関係や体調面でうまくいきません。医者は、薬も最低限で頑張ってやっていこうと言ってます。僕の病気は大丈夫と言っています。色々な病院に行きましたが、、、。先日も、サークルの先輩にひどいことを言ってしまって、もういられなさそうです。まだ何人か友人はいますが、自分は、まず学校を続けていくべきか、そして今後の人生どうして行ったら良いか、アドバイスいただけたら嬉しいです。ちなみに、あくまで聞いた話ですが、僕が通ってる学校や学生自体は障害者が多いためか、そういう人たちには優しいようです。親は、退学するなら、もう知らないし、それをしたら、後のことは自分で考えろと言っています。辞めるとしたら、前期でと考えています。先生がたの見方は微妙です。
あと、専攻してるのは人間科学系の学部です。