中途半端な育児（発達がアンバランスな子ども）

小学２年生の息子の育児についての相談です。

乳幼児期からどうしても違和感を感じ（泣きすぎる、言葉が遅い）ずっと子育て支援センターに育児相談をしてきました。
発達検査を受けて言われたことは「発達がアンバランス」「アスペルガーか高機能自閉症の疑い」でした。

その後小学校、普通学級で学んでいます。
通級も最初の頃は通っていたのですが子どもに変化が現れないことや「２年生かもっと早く終了するでしょう」と言われ「何のための通級なのか？」と不信感に陥り辞めてしまいました。
現在はいいと思われる育児方法でやっています。

今一番頭を悩ませていることは、息子は「人の話をちゃんと聞かない」というところがあり、それが習い事の先生や友達との人間関係に影響を及ぼしてきたところです。
まだ２年生なので勉強面ではついていけているのですが、興味のない話にちゃんと返事ができずに相手の気持ちを損なうところがあります。それと自分の興味のある話を一方的に話してお友達を戸惑わせているところもあります。けれど完全に浮いているという感じではなく、外遊びなどはみんなで楽しく遊んでいるようです。

こちらの地域は子どもの数が少なく、お母さん同士の間柄が密なところもあり、少しの言動もすぐ噂になります。
うちの子の言動ももちろん話にあがっていると思われ、ある時から私自身も避けられるようになっていきました。

私自身も子どもと同じで変わっていると言われるタイプです。けれどお母さんには聞き役に徹し、自分の話は当たり障りのないことしか言いません。
それでもやっぱり親子ともども浮いてくるのは仕方ないことなのでしょうね。
たまにこの地域から逃げ出したいと思ってしまいます。

私ども親子のような悩みを持つ方はいらっしゃいませんか？
またアドバイスも宜しくお願いいたします。