モヤモヤと・・。

はじめまして、みずえと申します。３歳の子どもについて相談させて下さい。よろしくお願いします。　３歳半の息子がいて、現在は発達遅滞（言葉が遅い。生活全般が同年齢の子より、遅れている）で、児童相談所の勧めで、児童ディサービスに通わせています。息子を妊娠した時に、初ママセミナーで知り合った友人４人と、今もお付き合いが続いています。皆、人間的に温かい人柄で、楽しく付き合ってきました。でも、子どもの月齢が上がるにつれ段々辛くなってきました。子どもの発達の差が開きすぎているからです。　皆で会っても、他の母子は普通にランチが出来るけど、うちは息子がジッとしていられない為、途中で外に出る等して対応していました。　
「みずえちゃんも、大変だね」と言われます。なので、会う時は場所や、店探し等で、うちの為に面倒を掛ける羽目になります。去年の暮れに、友達のマンションのゲストルームを借りた時も、初めての場所に息子は機嫌が悪くて大変な事でした。記念の写真を撮る時には、他の子ども達はカメラ目線で、ピースサイン。息子はジッと出来ずに結局不参加。その様子に、次の場面の写真の時は、息子を呼ぶ事はなく・・。酷い親だと、重々承知していますが、正直落ち込み恥ずかしかったです。以来、新年会やお花見会などに、誘ってくれますが、息子を見せたくなくて、他の理由を付けて断ってきました。知り合った時より、第２子の生まれた子もいて、それぞれ忙しくなっていて以前より、集まる回数は自然と減っていますが、細々続いていて、近況メールもちょこちょこ来ます。でも、皆の事は好きだけど、しんどいです。
もしも、皆様なら、このお付き合いどうされますか？