近所付き合い疲れました。

ちょっとへこんだので投稿します。
昨日、我が家の車庫に手袋が落ちていました。
うちのではないし、ご近所のものが飛んできたのかなぁと思い一応とっておきました。
しばらくしたら、ちょうど向かいの家の方が帰ってきたので話かけてみました。
『この手袋、どこからか飛んできてうちの車庫にあったのですが違いますか？』
と聞いたところ、
『そんなのうちの家族は使わない。そんなの手袋、車庫に飛んできたからって勝手にすてればいいのに何？』と
手袋を取り、あなたが捨てないなら自分で捨てるとすごい口調で言い持っていかれました。

なので頭にきてしまい、
『いつも風向きの関係でお宅の落ち葉（形を見ればわかるので）やごみが飛んできます。なのでお宅のものかなぁって聞いただけです』と言ってしまいました。
確かに我が家には毎年落ち葉などいろんなものが
飛んでくるのは事実で、それはお互い様だし持ち家の宿命だと思っていたので今までは快く家の掃除は
していました。
でも昨日の件で、今日も我が家に葉っぱが飛んできていますが、なぜ私が掃除をしなければ。と
かなり嫌な気分です。
うちにも緑はありますが落ちない葉っぱなのでうちの葉っぱではありません。

言い訳になりますが、私は小さな子供が２人いて掃除するのも何かと大変で…

私は間違ったことをしてしまったのだろうか。売り言葉に買い言葉で余計な事を言いすぎてしまった…と。
向かいの方は結構井戸端会議で悪口を言う方なので、
きっと『向かいの奥さんがこんなこといった』と広められるんだろうなぁ…

謝りに言った方がいいのでしょうか？
ご意見きかせてください