友達は選ぶべきですか？

５歳の子をもつ母です。近所のコ小４と中１の兄弟がいます。トラブルメーカーで、いつも我が家の前にきて２～７歳と遊んでいます。精神年齢が兄弟ともかなり低いようで大きい子が小さい子の面倒をみるのではなく、幼稚園児や中には２歳の子と同等に遊びをしています。他に遊ぶ友達はいないようです。陰湿なイジメのような事をわが子にだけするのでわが子も嫌っておりあまりあわせていませんでした。最近わが子が他の子と遊んでいたら流れで一緒に遊ぶようになり、何度かやさしく接してもらったらしく「遊びたい」というようになり遊ばせていたのですが、わが子の玩具や自転車をコンクリートの地面に投げつけるようわが子に支持しているのを（遊びながら）目撃し、またわが子も面白がって投げつけているのでわが子にはかなりしかりつけました。その兄弟にも「そんな事したらだめでしょ！！」と１度怒鳴ったらプイッとしてス～と逃げてまた離れたところで遊びだし反省の色は見えません。よく「友達は選ぶべき」と聞く事があるのですが、今までは親が友達を選んではいけない、悪い所があってもいい所もあるはずだからわが子が友達を見つけるのだから親は口を出すべきではない。と思ってました。でもさすがにこれまでの積み重なる陰湿なイジメと重なり「もうあの子とは遊んではいけません」と怒鳴ってしまいました。
遊ばせたくなくても毎日のように我が家の前にウロウロしにくるし、こちらも毎日出かけるわけにもいきません。。我が子も兄弟はやさしい所もあるから遊びたいといっており、今回自分が（物を壊す）加害者に仕向けられた事には気付いていません。いつも我が子のおもちゃのみそんな乱暴に扱います。考えられる理由は我が子は口が達者で子分になってくれないから、そして放任の子なので私の我が子に対する愛情を嫉妬しているのかななんて感じています。友達は選びなさいと教えてもいいのでしょうか？