コミュニケーション障害すぎる自分に嫌気がさします。

小学生と保育園児をもつ母です。
他の保護者とうまく話せなくて、イベントのときなど、いつも孤立してます。
人といると気を使って疲れるだけなので、孤立するのは気が楽なので別にいいんですけど、
保育園の送迎のときに、バッタリ同じクラスのお母さんと出くわすと、挨拶だけじゃなくて一言くらいは何か話したほうがいいかなと思って、そのお母さんは赤ちゃんを抱いていたので、
「髪が多いですねー、可愛いー」
と言うと、相手のお母さんは
「そうなのー。これネタなんだけど、うちの旦那が羨ましがってるの」
と言ってきたので、私は「あぁ～」という反応をしてしまいました。
すると、
「そういう反応ってことは、やっぱりそうなんだよね」
と言われてしまい、相手のお母さんは笑ってはいましたが、私自身が しまった！！と自己嫌悪に陥ってしまいました。
他所の旦那さんを、ハゲてると言ってるようなものです。
コミュニケーション障害すぎて、相手が言うことには とりあえず頷いてしまうので、ただのイヤな奴だと思われてしまったかなと、モヤモヤしてしまいました。
こういうときは、どう返せばよかったのか…。

うまく話せないから、人と会いたくありません…。