子供の喧嘩

春に3年生になる息子がいます。
息子のよく遊ぶ友達に、何か不満があるとすぐに手を出してくるA君がいます。家も自転車で2～3分の距離にあり、お兄ちゃん同士が友達なのもあり、下の子同士も休みの日にはよく遊びます。

手を出してくる原因としては、我が家で遊んでると、A君ばかりが好きなゲームをしてる為、変わってと言うだけで無言で突き飛ばしてきたり蹴られたり。ゲームや鬼ごっこでA君が負け出すと◯◯(息子)が悪い！と言ってお腹を殴ったり、顔をつねったり、うざい、死ね！と言われたりです。

息子には私がやり返しはダメだと言ってることもあり、やり返すことはしませんが、口では言い返す為、収拾が付かずいつもお互いのお兄ちゃんが止めています。あちらのお母さんもA君が暴力をしていることは承知していますし、見かけたら注意をしてくれています。
息子はお兄ちゃんとは殴り合いの喧嘩をしていますが、友達、先生、友達のお母さんから聞いた話しだと、友達には暴力をしたことは見たことがないそうです。

お兄ちゃん同士と息子を私が車で公園に連れて行こうとしたとき、A君も来てしまったので、A君のお母さんに、喧嘩になっても殴ったりは絶対にしないと約束させたので連れて行きました。
しかし、遊具の上で鬼ごっこを始め、後から参加した息子はルールが分かっておらず、違うことをした為、怒ったA君が遊具から落とそうとしていました。

息子はあまりA君と遊びたくはないみたいですが、お兄ちゃん同士が友達なので、家にお兄ちゃんが遊びにきてると後からやって来たりします。でも学校では暴力はされたことはなく、かなり仲良しです。遊ぶと必ずといっていい程暴力を受けている為可愛そうで…。

息子は悔しいからやり返しをしたいと何度も私に言ってますが、やり返しを許可して良いのか悩んでいます。やられたらやり返すことに賛否両論あると思います。アドバイスをお願いします。