庭に入ってくる親子

私は既婚の30代女性です。今年、家を新築し一戸建てに住んでいます。私の家の前の道路で近所の子供達（小学生）がよくバトミントンをしています。 バトミントンの羽根が私の家の庭に入ると子供達が勝手に庭に入ってくるので、「よそのおうちに勝手に入っちゃダメでしょ。今度入ったら羽根を取ってあげるから言ってね。」と注意しました。きつい口調ではなく優しく言いました。同じことを２、３度繰り返したら、やっと呼び鈴をならして「取って下さい」と言ってくるようになりました。 先日近所の子供とその子のお父さんがバトミントンをして、また羽根が入ってきたのですが、呼び鈴をならさずに勝手に親子で庭に入ってきました。たぶん、窓を閉めていたので留守だと思ったのでしょう。庭に面した壁にすりガラスがあるので、私は家の中にいても庭に入ってきたのがわかりました。私は仕事をしているので昼間、留守にしていることも多いです。留守の時は勝手に入ってきても仕方がないと思っていましたが、家にいたのに勝手に入ってこられてすごく嫌です。 私が気にしすぎなのでしょうか。皆さんは勝手に近所の人が入ってきても平気ですか？