大人の発達障害？人間関係が辛いです

35歳のカカオと申します 子供の頃から人間関係が長続きせず、卒業したら疎遠、転職したら疎遠、縁の続いた人も、段々と相手の事が我慢できなくなり疎遠…というのを繰り返して来ました。 現在友人と呼べる人は数少なく、気軽に何でも話せるような相手は一人も居なくてとても孤独です。 人生で一度だけ恋愛をしたのですが、自分の事を好きになる事はない相手に上手く利用され、一年と経たない内に自分から縁を切りました。 恋愛も人間関係も、自分を見てくれる、自分の事に好意を寄せてくれる相手が怖くて、むしろ自分を上手く利用しようとする人と仲良くなってしまう節があり、また、自分を大事にしてくれる人と仲良くなった場合でも、その人に好かれようと言いたいことを我慢している内に、勝手に疲れて疎遠になる、という事もあります。 学生時代の勉強はそこそこ出来たものの、社会に出れば時間は守れない、納期は守れない、ケアレスミスは多い、で、使えない人間でした。 今は縁があり在宅ワークをしていますが、上記の通りなので、仕事相手にも迷惑を掛け、自分自身もとても苦労をしています。また、同僚の居ない所で仕事をするのはストレスフリーでもあり、友人の少ない私には辛い孤独に耐える場所でもあります。 この社会性の無さは、大人の発達障害（特にADHD）ではないかと思い、10年以上前に心療内科にかかったのですが、リタリンを処方され、あまり効き目が無いと言ったら、ADHDでは無いと診断されました。 ADHDではなくても、何か疾患を持っているのではと感じてはいるのですが、また病院でそれを否定されたら、それこそ病気では無くただの駄目人間の烙印を貰うだけです。それが怖くてずっと病院に行くのをためらっています。 私と同じような事で困られてる方が居ましたら、どのように他人やご自分と向き合っているかご教示頂けたら幸いです。