難しい地元の人

先祖代々住んでいる人が多い地域の新規造成した分譲住宅地に中古住宅を購入して入居しました。 転入してから地元の人に無理難題を言われて、どう対処すればいいか悩んでいます。 その地元の人とは我が家の隣の空き地を畑として利用している方です。 引っ越してすぐの頃、畑仕事されていたのでご挨拶したら 「おたくの家を建てるときうちの畑を資材置き場にされて迷惑した。 敷地の境には今もゴミが溜まっている。迷惑だ」と。 私が「中古で購入したので建てる時のことは知らなかった。でも、ゴミが溜まっているなら 掃除させてください。」と申し出たら 「掃除するとなると、うちの敷地に入ることになる。それは困る。迷惑だ。」と。 「でしたらどうしましょう？」 「とにかく、おたくがそこに住むのは云々…」 気まずい初挨拶でした。 その後も、朝新聞を取りにでたら、我が家の敷地の駐車場の水道をその隣人が 勝手に使ってるのに出くわし、勝手に使われては困りますがとやんわり言うと、 「お互いさまと言う言葉を知らないの？ このくらいのことでぐちゃぐちゃ言うな」と返されたり… なんだか私の常識では理解できない対話が続くので困っています。 このような隣人、どのように対すれば良いのでしょうか。