家の周囲の塀（３０ｍくらいかな？）

隣人の目が気になるので、塀を建てようかと思っています。 我が家の敷地は、斜面になっており、 周囲も違う大きさの四角形をいくつか連結したような形をしています。 庭に果樹を植えているのですが、隣人２世帯が留守中に、果樹をとりに入ってくるので、 それを守りたいということもあります。 子供であれば、あっさりとしかれるのですが、相手はおばあさんと陰湿な夫婦。 しぶとく果樹を盗っていくのであきれ果てています。 そのことでこちらが注意すると、逆ギレ状態でした。 気になるのは、塀のために、何か文句を言われないかと言うことです。 ２，３ｍ高くすれば、いくつかの隣人からの目を完全に防げます。 塀を高くして文句を言われるとしたら、どういうことで言われるでしょうか？ 建築上、合法なのかも不安です。 駄トピかもしれませんが、私にとっては真剣です。 ご近所さんとのトラブル例でも結構ですので、ご意見をお聞かせください。