庭でのボール遊びに困っています

　我が家は二年半ほど前に現在の建売住宅を購入しました。いわゆる旗竿地ですが、ご近所の方は親切な方が多く、過ごしやすいと感じていました。ところが、半年程たってから、外で遊ぶ親子の声に混ざって、アルミ塀にガシャーンと何かが当たる音が気になりだしました。　 　実は我が家の裏も同じく旗竿地のお宅があり、２０、３０坪程の庭があります。その庭を我が家はじめ、数軒が囲っているような立地です。入居したときに「男の子二人なのでうるさいとおもいますがすみません」と言われ、さして気に留めていなかったのですが、旦那さんが我が家の壁＆アルミフェンスを背にしてさあ来い、と元気な声を出し、お子さんにボールを蹴らせていることに気づきました。小さいお子さんなので柔らかいボールですが、フェンスに当たるとけたたましい音で、蹴り損なったときは我が家の外壁に当たったり、フェンスを超えて敷地内に入ったりしたときもあります。（その際、旦那さんはそそくさと家の中に入り、まだ保育園も行かないようなお子さんに我が家に不法侵入させて取りにこさせてたいました。旦那さんがチャイムを押して取りに来ればまだ許せたのですが）。ボール遊びは、まだ小さいからいいですが、お子さんたちが大きくなられたとき、あの家（我が家）に向かって蹴ってもいいのだと思って育ち、固いボールをいつか蹴り合うのではないかと心配です。最近は旦那さんやお子さんが庭に出てはしゃぐたびに胸がドキドキします。 　また、そのお宅は夜の10字過ぎまで、大声＆地鳴りのような運動会もされることが多く、ボール遊びと相まって苦しいです。それに気づいておられないようで、それがもどかしく、つらいです。私の気にし過ぎでしょうか。