隣の家の迷惑行為について悩んでます

隣の子供（大人を含めて）の迷惑行為に悩んでます。
家は、２年前ほどに分譲された30近くある住宅に住んでおり、コの字に分譲された区画の奥になり、右隣、前後の住宅は、同じ分譲住宅です。
問題のうちは、左隣のアパートも一緒になっている元から住んでおられる家で、大家一家の子供とアパートに住む子供（多分大家の親族）がアパートの駐車場で遊び、ボールがうちの敷地に入ったり、窓にぶつかったり、フェンスを乗り越え勝手に敷地に入り、野菜を荒らしたり、やりたい放題です。時には、大人も一緒にボール遊びをしており、うちに飛ばしてくることもありますが、注意はしません。家にいる際には、「ボールを取ってあげるから、フェンスは乗り越えないで」と注意をしたこともあります。昨日は、大きな石や、雨どいの部品が投げ込まれていました。近所ですし、お子さんだしと思い、引っ越してから我慢してきましたが、さすがに限界です。
隣は、よく夜中12時近くまでバーべキューをしてるようなお家です。バーべキューは我慢できますが、石やボールを投げいれたり、人の敷地に勝手に入ったりはやめていただきたいのですが。
隣のアパートの管理会社には相談しましたが、改善されるかは疑問です。警察や、町内会の相談も今後考えています。

今後改善されない場合、隣のうちはフェンスをしていないので、入ってこれないような高いフェンスをしていただくことは可能なのでしょうか？
もちろん、迷惑行為をやめてもらえればいいのですが。
家は、夫婦二人暮らしで、共働きで日中いないので本当に怖いです。