乱暴なお友達

二人姉妹の母です。
ご近所に二人兄弟のご家族がいて、うちの娘たちが6、4歳、あちらのご兄弟が5、3歳で上の子たちが赤ちゃんの頃からのお友達です。
幼稚園が違うので母親同士でお茶したりして子供たちが全員集合して遊ぶことはほとんどありません。
でも小さい頃から知っているので、たまに遊ぶとなるとお互い喜んですごく楽しみにしています（あちらのママさんからもそう聞いています）。

ただ、3歳台くらいまでは良かったのですが、年齢が上がるにつれあちらのお兄ちゃんの乱暴さが少し目に付くようになりました。
言葉では「馬鹿」「死ね」と言う。
自分がやっている遊びをうちの子供たちがしようとするとだめと言う（たとえばお絵描きのペンを使わせない等）。
身体的にも押しのけたり、軽くですがペシペシ叩いたりする。
上のペンを使わせないにも少し似ていますがマイルールに従わせようとする（今すぐこのおもちゃをここに片付けろ！等）。

2時間強お邪魔して下の子供は何度も馬鹿と言われて4、5回くらい泣きました。
上の子供も少し引き気味になって後半はひとり遊びと一緒に遊ぶのを交互くらいにしていました。

ママさんはその場でも後からも謝ってくださりこの子に手を焼いていることが伝わってきます。
甘々な様子もなくだめなことはだめと言っていますが、子供が言うことを聞きません。

こういうとき、他人の私からもその子供に向かってだめとか叱って良いものなのでしょうか。
そこまでの信頼関係がない私が言っても効果なし（あるいは逆効果）でしょうか。
言われっぱなし・やられっぱなしになっているのが少しもやもやしてきました。
ただ、上記の通り幼稚園が違うのでほとんど一緒に遊ぶこともないし、年が上がってますます遊ぶ機会もなくなっていくので、放っておくのが吉なのでしょうか。