大人しい子供の人間関係

小学２年生になる息子がいます。最近お友達との関係が全くうまくいっていません。
集団下校でも孤立していたり、最近では放課後遊ぶような友達もいません。
本人は授業は楽しくて好きだと登校は嫌がっていませんが、登下校時や余暇の時間は一人で過ごすことも多いそうです。

去年、仲良く遊べるお友達もできていたのですが、近所の友達を加えて３人で遊ぶようになるにつれ、その２人が息子をハブくような感じになってしまいました。息子はノリが悪いところがあり、冗談にムキになるようなところもあるので一緒に遊んでいて面白くなかったのかもしれません。結果的にそのお友達たちとうまくいかなくなりました。
昔から戦いゴッコなどの遊びが苦手、いわゆる男子のノリが全くない大人しいタイプで一番好きなのはクイズ番組とかです。
親の欲目かもしれませんが、まだまだ精神的に未熟な面が多いながら周りの子より若干頭の中が大人びたところがあるのかなと感じています。
担任の先生からは常に明るく人懐っこいと評していただいてましたが、最近お友達の関係もうまくいってないからか暗くなっていて気の毒です。

見守っていればいつか同じタイプのお友達を見つけて仲良くなれるものだと頭では分かるものの、実際にポツンとする息子を見るのは胸が痛みます。
高学年にもなればこういうタイプの男の子も多いように思うのですがまだまだ先は長いなあ…と。
母親としてどのような心持ちでいればいいのか、諸先輩のアドバイスをよろしくお願いいたします。