南側の家との境界フェンスで悩んでおります

実家を二世帯住宅に建て替え中です。 現在外構の作業中なのですが、気になる報告を受けて頭を抱えております。 お知恵をお貸しください。 我が家は北側接道の●、南側のお宅は■です。（以下Ｓさん） 北道路 □●□ □■□ 南道路 お恥ずかしながら以下の経緯により両親とＳさんはそもそも折り合いが悪いです。 1.約25年前、Ｓさん宅が建て替え。 　建ぺい容積率いっぱいの総2階が境界線１ｍからズドーンとなり我が家はだいぶ日当たりが悪くなった。 2.約20年前、実家が手狭になり南の庭に面したリビングと和室を少し広げることに。 　庭の奥行が７ｍ→５ｍになった。 　Ｓさん宅は境界から１ｍのところに建っているので、我が家のリビング窓からＳさん宅の外壁、窓まで約６ｍ。 3.この地域は建替えやリフォーム時に隣接家からの承認が必要。 　1のとき両親は残念に思いながらも承認。 　2のときＳさんの対応は『お宅のリビングが迫ってきて落ち着いてトイレに入れない。 　気になってお風呂にも入れない。弁護士に相談する』 4.弁護士に相談したところ相手にされなかったらしく（両親主観）、すぐに承認してくれて態度も低姿勢になった（両親主観） 上記は私が幼児の頃のことで記憶にはないのですが、二世帯計画にあたり両親から聞き、慎重に考えました。 今回少しですがさらに庭が狭くなるため、Ｓさんが嫌な思いをしないよう、 庭に高さ180cmの風通しのよい木目調の樹脂フェンスを設置しました。 前置きが長くなりましたが、外構業者さんからの報告内容は 『南側の家の方に、フェンスのせいでお風呂とトイレの日当たりが悪くなると言われました』でした。 良かれと思ったのですが、、、 撤去にも費用がかかりますし、できれば穏便に済ませたいです。 無視しても大丈夫でしょうか。