子供の友人関係を制限したことがある方に、お聞きします。

小学生の子が2人いる、ダメ母と申します。
子供の友達で、一緒に遊んでほしくない兄弟がいます。近所の兄弟なのですが、
・学校の友達を呼んで、我が家の前でボールで遊び、車にぶつけて注意してもやめない
・うちの子と外で会うとおやつを要求したり、家に入れてくれと言う。兄弟だけならまだいいのですが、兄弟の友達（私にとって見ず知らずの子）も同じことを要求
ということが日常茶飯事です。この他にも、細かいことはキリがないほどあります。
親御さんもちょっと違う感じです。

一度だけ兄弟を家に入れたり、おやつも何度かあげたこともありますが、子供が親に何も言わないのか、会っても何も言われません。（他の方は、必ずお礼を言ってくれます）親御さんの感覚が読めないので、当たらず障らずにしたいのですが、うちの子達はその兄弟と遊ぶのが楽しいようです。
先日、うちの子が転んだところにその兄弟のゲーム機があって踏んでしまい「壊した」と大騒ぎされました。実際は壊れていなかったのですが、子供にも謝らせ、私も謝りました。壊れていれば、弁償するつもりでした。
うちの子が悪いのは確かですが、ゲーム機があったのは地面・・・しかも、うちも車や植木にボールをぶつけられるのをずっと我慢しているのに・・・となんだかモヤモヤしてしまいました。
今後もし同じようなことがあっても困りますし、兄弟のそれまでの行動から見ても、私は正直一緒に遊んでほしくないと思っています。
でもうちは女の子しかいないので「もしかして男の子って、こんな感じなのかな？」と思ったり、友人関係を制限してしまうと後々悪い影響が出るんじゃないかとか、いろいろ思い悩んでいます。
こんな理由で子供の友人関係を制限してしまうのは、心が狭いのでしょうか？
また、子供の友人関係を制限したことがある方の経験談をお聞きしたいと思います。
よろしくお願いします。