人付き合いをしない息子が心配です

50代後半、はなと申します。30代の息子が二人おり、次男は結婚して所帯を持っています
今回は同居している長男についてご相談させていただきます

長男は昨年、体調を崩したことをきっかけに受診した病院で、「抑うつ」と「ADHD」「アスペルガー症候群」という
発達障害であると診断を受け、医師の勧めで精神障害者手帳を取得しています。
長男は子供の頃からひどい無口で、どれだけ促しても人付き合いに全く興味を持たないことに不安を覚えていました
現在でも恋人どころか友人もいる様子がなく、家族以外とは殆ど交流を持っていないようです

夫は「たとえ障害があるとしても、自分では何も解決できない子供というわけでもない。今度の病気のことでも自分で病院に行って自分の考えで手帳を取ったんだ。
料理や洗濯の身の回りの世話をやってあげているんだから、それ以上のことを気にすることはないだろう」と言います。
知人にそれとなく相談してみたところでも
「仕事も何もしてないのならともかく、正社員として働いて家にもお金を入れているというのならば心配しなくていいのでは」
と言われました。

道理とも思いますし、私が親離れできていないのかとも思いますが、
毎日朝の７時に家を出て夜１０時近くに疲れきった様子で帰宅、（不器用で人への指示も苦手なため、人一倍時間がかかると本人が言っていました）
夕食では「今日も仕事をこなせなかった。正社員は自分には荷が重い。単純作業のアルバイトになりたい」などと愚痴ばかりを言い、
休日は疲れて外出の気力がないと、自室にこもってインターネットやゲームばかりを一日中やっている姿を見ていると、本当にこのままでいいのかと不安になります。
せめて家族以外との交流を持ってほしいのですが、発達障害の当事者会などを調べて薦めてみても行く様子がありません。

息子の今後が心配です。ご意見をお聞かせ下さい。