小学生の仲間はずれ

小学生の息子のことで相談したく、お願いいたします。

息子は、少人数の小学校へ通っています。
同級生はたったの１１人です。
最初はよく同級生と遊んでいましたが、
最近ぱたっと遊ばなくなりました。
どうしたのかと話を聞いたら、
「仲間はずれにされるから」とのこと。

学校でも誰かとちょっといさかいになると
（例えばサッカーをしていて、
ボールをとったら←ルールにのっとっているだけで、
別に足をけったりなどしていないそうです。
相手が怒り出し、
すると同級生の他の子たちも
一斉に相手方につき、
１対他の子たちで、どつかれるそうです。

何かあると、とにかく
ターゲットになるのはうちの子と
あと二人らしいですが、
一番多いのはうちの子のようです。

やられる子はみんな身体が小さく、
そして皆別々の幼稚園から上がった子達で、
いじめる軍団は、
皆地元の保育所上がりの子たちで、
うち半分以上は、
家庭環境がとても良いとはいえないお家です。
（実際一人は
カウンセリングを受けたりしてるそうです）

どうにかしたいですが、
親がうごいても問題解決にはならないのでしょうか？
とりあえず、息子には
身を守れるように武術を学ばせることにしました。
親としてできることは
ないのでしょうか？

ちなみに学校には何度か相談しましたが、
全然改善されません。