子供3人発達障害だけど、１人は未診断です

上から１２歳（女児）、１０歳（男児）、４歳（男児）の３人の子を持つ母です。
※長女の障害がわかったのは、二男妊娠中でした。

今現在、長女と二男は、それぞれ自閉症スペクトラムなどの診断がついており、長女は発達支援学級に通い、定期的に専門医療機関へ受診、二男も同じ専門医療機関へ受診、月１回の相談等をうけています。

今回の相談は、長男の件です。
ほかの子らに比べれば、定型発達だったので割と母の私としても唯一の癒し（他の子には悪いが）だったのですが、小学校３年生になった辺りから、忘れ物や過度の言語に対する苦手さが出てきて、まるで成長が止まってしまったかのように、周りに子に比べて幼く、本人も自覚してか口数が少なくなってきました。

それでも、学校へは毎日行っていたし、友達とも楽しそうに遊ぶ。
でも、ここ数日、明らかにふさぎ込んでいます。
聞くと、「みんなから遅れている、話合いの時間とか意見とか聞かれるとわからないから辛い」と言います。

今、私が迷っているのは、４年生でこの状態。早いうちにこの辛さが発達障害から起因するものだという根拠を提示して、支援級に通級、もしくは移籍させた方がいいのか？

それとも今の状態で担任等に相談して様子を見つつ多少配慮をお願いする程度でも大丈夫？
この２つで揺れています。

迷っている要因として、３人が３人とも発達障害関連の受診やトレーニングのスケジュールが入ると、今以上に（週１回は半休をとっている状態）仕事を休まねばならず、それは私にとってはストレスになるということです。（最近正社員になったばかりです。）
夫は充分に稼いでくれてるし、協力もしてくれるけど、仕事をすることは私にとっては私自身にとって重要なことです。

相談に乗ってくれると幸いです。