近所の人による敷地の通り抜け（愚痴）

戸建賃貸に住んでいます。周囲には同じような戸建賃貸がいくつか並んでいて、我が家は1番奥にあります。 先日庭にいたら、北側のお宅（一般住宅）の方が「おはようございます」と何食わぬ顔で我が家の敷地を通り抜けて南側のお宅のほうへいきました。戸建賃貸の集まりの中の通路と思っているのかもしれませんが、不動産業者にそこは通路ではなくこちらの敷地になると確認済みです。 北側のお宅との境には、こちらの敷地にはフェンス等何もありません。 あちらの敷地には生垣がありますが、ひとが一人通れる幅だけ空けてあります。たぶんこれまでも通ってきたのだと思います。 その場で、通路ではないので通るのはやめてほしいと言えばよかったのですが咄嗟に言葉が出ませんでした。 その方と顔を合わせたのも初めてでした。 そして今悶々としています。今後も通り抜けされるのは受け入れられないので、何か対策をしたいのですが、やはり張り紙は角が立つでしょうか？ 近所付き合いもなく、長く住む予定もないので、それでもかまわないと言えばかまわないのですが。 次に会ったときに伝えるのも考えましたが、いつになるかわからないし、あまり直接接したくない気持ちもあります。 物理的に通れないようラティスやプランターを置くことも検討していますが、完全に通れないようにするのは結構大変そうです。 それにしても、なんでこちらが気を遣わないといけないのか・・・ 似たような経験がある方、いらっしゃいますか？ よろしくお願いします。