小２の息子の暴力

小２の息子の暴力について悩んでいます。
近所に住むＡ君は体は小さいけれど口が達者なタイプで一緒に遊ぶ際ケンカになることもしばしば。Ａ君は小さくて力はありませんが負けん気が強く互角にやりあっていました。
私もやりすぎと感じた場合は止めていましたが、息子もＡ君も次の日にはケンカしたことも忘れて仲良く遊んでいたのであまり気にしていませんでした。ところが後日他の人からＡ君のお母さんがＢ（私の息子）から暴力を振るわれると周りに話していると聞かされ、息子にはケンカになりそうになったら暴力を振るわず帰ってくるかＢ君から離れるように言ったのですが、やりかえさない息子にＢ君はしつこく攻撃をしてくるようになりました。
もともとうちの息子は口ではかなわなかったのでやめてと言ってもやめてくれず今は手を上げないように我慢してくれているものの、いつまたケンカになってＢにやられたと言われてしまうのかと心配です。
ご近所でクラスも習い事も一緒なので（しかも少人数）なかなか離れていることもできません。
私の息子は自ら暴力をふるう訳ではありませんが意地悪をされたり向こうから叩いてきた場合などは必ずやり返してしまいます。「やめて」と言ってやめてくれたらケンカにならないのですがそれでもやり続けられると手を上げてしまうので、結局はうちの息子が謝ることになります。
口で勝てない子は我慢するしかないのでしょうか。