親としてどこまで見守ってどこから介入すべきか悩んでます

今小学2年生の娘と5年生の娘がいます。
下の娘のことでいつも頭を悩ませており、私自身精神疾患を患っており、苦しくなってきました。
田舎の小学校で下の娘のクラスには10人ほどの生徒しかおらず、その中の１人の子は特別養護学級の子で半分くらいは一緒に授業を受けたりしています。
その男の子は近所に住んでいるので、度々娘を遊びに誘ってきます。
しかし、娘が帰ってくるたび冴えない顔をして帰ってきたりするので嫌になってしまいました。
具体的な内容は
自分がお金を持ってないからとしつこく財布を持ってこさせようとする。
これは、私もみていたので、お友達におごったり、おごられたりはダメだよ。と言いました。
家の庭にお菓子のゴミを捨てていく。
以前娘にけがを追わせたことがあったので、私が、けがをさせたり、危ないことはしたらダメだよ。と注意したことが気に入らなかったらしく、一緒に遊びに行った直後に帰れ！と娘をなぐった。
ぼくが遊びにくるまで絶対外に出たらダメ！とかなりしつこくいってくる。
他の子に対しても、ビービー弾で人をうったり、兄弟して他人に暴力、暴言があります。
一度は学校に相談したものの、学校は喧嘩両成敗に終わらすことしか考えないので、きちんと話も聞かず事実を把握せず両方に謝らせて終わらせます。
それでも娘が遊びたいと思うのならと遊ばせていますが、その子は何でも言い出したらしつこく、娘はノーと言えないタイプで、この前はあまりにいろいろしつこいのでつい私が、次ひどいことしたら、お母さんにいうよ！といってしまいました。
その親も家族みんなそっくりな感じで正直娘に近づいてほしくないです。
でも少ない人数で仲良くしていかなきゃいけないし、、という思いもあり、どう対処していくべきか毎日頭を悩ませています。