隣家との境界フェンス設置について

皆様のご意見をお伺いしたく、ご相談します。

ここ数ヶ月隣人に避けられているようです。
我が家が庭にいる時は絶対に出てこず、また休日なども我が家が車で帰宅すると撒くように急いで家族で出かけたり、ゴミ出しも我が家が玄関に入った瞬間に出て行ったりを何度もされており、他にも細かい面で色々あり、全く顔を合わす時がなく、なんか避けられてるなと思っていました。
決定的だったのが、一旦帰宅し、私が忘れ物を取り数分後に車に戻ると、お隣さんがまた撒くように急いで車に乗り込み出かけるところでした。車に乗り込もうとする私の前を通過する際、運転席に居たご主人は頭を下げられましたが、奥様が顔を後ろに背け上着で顔を隠したのです。
ここまでされると決定的ですよね？
あまりの大人気ない対応に驚いたのですが、思い当たる原因を考えると、
ベランダの手すりを拭く際に、蛇口がかがんだ位置にあるので、かがみながら丁寧に何度も拭いていたら、ちょうどお隣の寝室？の窓が真向かいにあるので覗いていると思われたのかな。ということです。翌日くらいに窓下にフィルムが貼られていました。境界線辺りを掃除していると、どこからか気配を感じるので、家の中から「家を覗いている」と見ていたのかもしれません。最近は、ベランダに出ると気配を察したのか例の窓をパタンと閉められました。こんな状況で、すごく遣り辛いです。

そして我が家とお隣は、境界のフェンスが腰の高さほどなので、庭に出るとお互いの庭が丸見え状態です。プライバシーの確保と冬の暴風対策のために、見える部分を全部塀というか、板状のフェンスを後付したいのです。が、お隣からすると我が家との境界部分が東側にあたり、日照や風通しが確実に悪くなるのは目に見えています。この状況で設置すると、余計トラブルになりますよね？でも何か対策したいです。皆様のご意見をお願いします。