隣の住民

先日結婚し、新居（戸建）に越してきました。

楽しい新婚生活！のはずが、隣人（60代後半・女性）への対応に戸惑っています。

勝手口がお隣の家との間にあり、そこにリサイクルゴミを出すようにしていたのですが、
臭気がうちに来て迷惑だと怒鳴り込んでこられ
（生ゴミは外に出しておらずリサイクルプラなど全て洗剤で洗って乾かして出していますのでお隣にゴミの匂いがするようなことはないと思います。ビニールの袋のみのゴミのときでも言われましたので、ゴミ箱がお隣のお家側にあるのが気に入らないのだろうと考え、不便ではありますが、その方のお家から見えない場所に設置しなおしました）

不在時でも朝晴れていれば風通し用の窓を開けて出勤していたのですが
通り雨などが降ると、雨が降ってるのに窓が開いてるのが気になって仕方がない。と。
（現在は不在時には窓を全て閉めて外出するようにしています）

ご近所中にそういう話をされているようで、他の方が「他の家のことにそこまで口出しするものではない。あなたも隣近所に迷惑かけてることあるでしょう。お互い様よ」と注意して下さったそうなのですが、

その時に隣人との話の中で、
うちの庭に入って自分（隣人）の家の庭から落ちた葉っぱをお掃除していると言っていたそうです。
在宅中に気配を感じたことはないので恐らく留守中のことだと思います。
「きちんと迷惑をかけないように自分はここまでやっている！」という意味で仰ったようなのですが
正直とても不気味です。

隣人の方は毎日朝から夜まで庭に居るのか、外出・帰宅時には顔を合わせることになります。
毎日今日は何を言われるのだろうかと思うと玄関を開けるのが憂鬱になります。
隣人へのいい対処法があれば何かアドバイスをお願いいたします。