隣家との境目の掃除について

狭い敷地の戸建団地に住んでいます。両隣との境に、片方はフェンスがありますが、もう一方には前側に少しフェンスがあり、あとは隣と通じています。 フェンスより奥は、何となく隣の敷地に入ってしまうように思えて、十数年で一度しか入ったことはありませんでした。 ところが先日、そのフェンスのない方の隣家の人がその通路で「また落ち葉入って来てる！全然掃除もせずに！」とブツブツ文句を言っているのが家の中まで聞こえて来ました。 落ち葉というのは、うちの木の落ち葉のようです。 毎年落葉し、今年も道には落ちていないようにと毎日拾っていましたが、敷地内のまだ取りきれていないものが強風で飛んでしまったようです。 でも毎年道のものは気を付けて拾っていましたが、その家と家の間は全く気にしていませんでした。 人の敷地に入るような場所でも、やはり一部うちの敷地でもあるし、うちの落ち葉だから掃除した方が良いのでしょうか？ ご意見よろしくお願い致します。