建築中の隣人トラブル

　現在二世帯住宅を建築中です。上棟も終わっています。
　建築中の建物は南側が道路に面し、北側は隣家の庭になっています。
　３０年以上空き地になっていた土地です。
　最近北側の家に住む高齢者から、うちの建物が高い、違法建築じゃないか、北側窓が多くて気に入らない、リビングや寝室が覗かれるようだとクレームがきました。
　最初は工務店さんに苦情が入り、私どもから連絡させろという事で、父が連絡したところ、たいそうな剣幕でこちらの言い分は聞かず、付き合いはしない、裁判に訴える、近所に悪口をいいふらしてやるなどと言ってきたそうです。建物の高さについてはどこかで調べたらしく、法的に問題はないので仕方ないと言ってくれたそうですが、そんな屋根はここら辺にはないと瓦に文句をいいました。
　北側窓については、たしかに二階の洗面所や和室が北側にあるので他の家より多いと思います。
　一部は曇りガラスではなかったので、見えないようガラスにフィルムを貼って対処したいと申し出る予定です。
　境界線から一メートル等の目隠しをしないといけない法律的な問題はクリアしています。
　私としては法的に問題なくても、お金がかかっても曇りガラスなどの相手からわかる方法で相手の言い分に沿って変えた方がいいのかな、とも思いますが・・・
　着工前に挨拶に伺ったときは奥様が出て、南側に家が建つのは当然ですからとにこやかにおっしゃって下さいました。

　こちらの設計時の配慮が足りなかったと言われるとは思いますが、あまりに高圧的な態度で、悪口をいいふらすなどと言われると納得してもらえるのかどうかを含め、不安になります。
　どう対処し、心持ちをもっていればいいでしょうか