公園内の迷惑行為、休日に起きた場合、どうすれば良いのか

自宅から３メートルぐらい離れたところに20坪ぐらいの公園があります。 あまりにも狭いのと民家が近い、また公園内にガラス戸の集会場がある、防球対策がない等の理由でボール遊びが禁止となっており看板も設置されています。 ただ看板があってもボール遊びをする人は絶えず、そのボールが自宅に直撃することも良くあります。 以前は穏便に注意していたのですが最近では親が逆ギレして「殺す」等と言う人がいて正直なところ怖いです。 管理している役所に行ったところ、平日の就業時間内であれば職員が出向き直接、注意することになったのですが、問題は就業時間外や休日も公園は開けられているためボール遊びの迷惑利用者がいることで、そのことを担当者に何度、言っても「就業時間外の対処は一切しない」の一点張りで就業時間外に関しては放置されたままで困っています。 警察に通報も考えたのですが、皆様でしたらどう対処されますでしょうか。 回答お願いします。