小4の息子は学校に行くのが苦痛です。

息子はアスペルガー症候群です。
学校に行ける日が多くなりましたが行けない日もあります。
行けない日は図書室に行ったり保健室に行っていい事になってますが、そこに行きたいという意思表示は自分でできません。
ですが学校は自分から言わないと行かせてもらえませんので一度も行った事はありません。
先生は学校に来たら普通に遊んでるので大丈夫ですと言われます。
それはそう見えてるだけだと何度言ってもわかってもらえません。
学校に行きたくない理由、行けない理由はありません。でも行けないのです。
お母さんが学校に行くのが無理だと判断した時は無理させなくていいですと言われたのに、今日は家まで来られて強制的に連れて行かれてしまいました。
強く言えなかった私が悪いのですが、そう言われたのに、強制的に連れて行かれては、母親の判断はいらないという事なのかと思ってしまいます。
今日行かなかったら、また一年行けないと言われましたが、今日、強制的に連れて行ったおかげで、夜泣きや夜の徘徊がひどくなります。
子供のことをよく思ってくれている先生ですが、今日のは行き過ぎでした。
甘いと言われればそこまでですが、本人がいやがる事をすると朝までの夜泣き、徘徊（どちらも本人は覚えてません）がひどくなります。本人も私も眠れないし精神的に辛くなってきて親子で鬱になってしまいます。
わがままで行きたくないと言ってる時に行かせた時は夜泣きはしません。
今日のはわがままじゃなかったのに、そう言っても強制的に連れて行かれ、あの言葉は何だったんだとなっています。
私が強く言えないのが悪いんですけれど。
学校に行かない事より、子供の精神状態がおかしくならない事の方が大事です。
私もアスペルガー症候群で先生に強く言われると、上手く言えなくなってしまいます。
こちらの言う事に同意されない時はどう説明したらいいでしょうか？