相手との境界ギリギリでの立ち話

お隣の方が、過去に数度
うちとの境界ギリギリのところに突っ立って
通りがかった知り合いと立ち話をしていました。
私が見かけただけで3回あり、そのうち1回は
椅子までもってきて
5人くらいで立ち話。
うちはその方との境界近くに駐車場をつくっています。
チラチラこっちを見ながら挨拶もせず立ち話。
感じのよいものではありません。
そして、うちが荷物をもって玄関を閉めるまで
ずっと見てるんです。

ご近所の方の話によると、時々うちの車がいなくなると
よくうちとの境界ギリギリのところに突っ立って
誰か知り合いがこないか待っているような行動をしているそうです。

これって失礼ではないですか？
正直うちを見下しているから、このような行動をするのではないかと思っているのですが、どうでしょうか。