大人しいと・・・

はじめまして、４歳の息子の事で相談です。
息子は、背も低く、大人しいので、いつも声を掛けてもらって遊んでる感じです。
仲の良い友達と２人で遊ぶ時は凄く楽しそうに声もだして話ながら遊んでます。ただ、もう一人お友達が加わって遊ぶと（息子とは正反対の性格の子なので、話上手です）仲の良い子も息子とは正反対ですが、口けんか出来る様な仲です。しかし、３人で遊ぶと、どうしても息子は大人しいしいので、言われたまま・・・と言うか。そこで待ってて！動いちゃ駄目！と言われれば、そのまま動かず。無表情で、あっちフラフラ、こっちフラフラ・・・何か見てて親の私が悲しくなってしまいました。
見ていられず、子供に早めに帰ろうか？と聞くと、帰りたいというので、その日は先にかえりました。

たびたび、そういう事があり、その子の事が可愛く思えなくなってきてしまいます。このまま息子が使われるだけの子になる様な気がして・・・

もう遊ばせない方がいいのか、少し悩みます。いわゆるママ友のグループの子供なので、気まずくなるのもやだし。皆で遊ばせないのも、息子に可愛そうなのかな～と思ってしまいます。
他の友達を探して遊ばせたほうが良いのでしょうか？？