ゴミ屋敷の隣人がうちの私有地にはみ出てきました

道路に沿って並んで建っている5軒の一つに住んでいます。うちの両隣は道路際に柵を設けていますが、うちは道路に面する土地（3m x 3m）をオープンスペースとし、その奥に家を建てています。玄関前に独立したポストと表札を立てていますが、柵はありません。だれでも自由にオープンスペースを通って玄関前まで来れます。 オープンスペースは駐車場にする予定だったのですが、左隣の家が道路にはみ出して私物を置いているため車が通りにくく、近所に駐車場を借りました。 最近、左隣の家が、うちのオープンスペースと隣家の間にある塀の一部を壊し、ドアを作りました。そして、隣人が毎日、そのドアを通ってうちのオープンスペースに立ち入り、煙草を吸いながら、うちの中をのぞき見しています。 きもち悪いので、うちも道路際に柵を作ろうと工務店を呼んで見積もりを取っていたら、隣人から「通行権が侵害される」と文句を言われました。そもそもうちの私有地なのに、なぜそんなことを言われるのか納得できません。 近所の方に聞いた話では、もともと隣家は一軒家だったが、かなり昔に相続した兄弟が一軒家を壊して２軒建て、それぞれの家族で暮らしたそうです。狭い土地に２軒を建てたため、かなり無理があるようで、隙あらば道路まではみ出して私物を置き、近隣トラブルになってきたそうです。また、隣家以外はすべて立て替え、セットバックしているのですが、隣家だけ建て替えではなくリフォームでセットバックを回避してきたので、余計に道路にはみ出ているのが目立ちます。道路際だけでなく、家の周りのいたるところに私物を積み上げ、火事になったら危ない、と近所で心配されています。そもそも隣家は道路にはみ出して私物を置いているので、消防車両も通れないと思います。 隣人は偏屈な高齢者なので、逆上すると何をされるか分からず、穏便に話し合いで解決できる方法はないでしょうか？