土地売買トラブル　越境　柵の所有

率直にどう思われるか、第三者目線でご助言いただきたいです。よろしくお願いいたします。

昨年11月に土地不動産仲介業者を通し土地購入の本契約済、その際、購入する土地の敷地内にある柵が売主所有の物で、引渡し前に撤去すると聞いていました。

しかし先程仲介業者から、柵の向こう側にあたる隣地の住人が柵を残してほしいと言っていると聞きました。仲介業者の話では、隣地住人が土地購入時は柵の所有者が曖昧で、隣地住人が柵に塗装などをしていた。境界として残して欲しいと言っているそうです。

仮測量図を確認すると、柵は完全にこちら側にあり(地中の基礎部分が隣地側に入っている可能性はありますが)仮に柵を隣地の所有とすると10cm以上こちらにはみ出している(うちから見て被越境)状態です。

仲介業者からは撤去を望むなら隣地住人と交渉するが、隣地住人との関係性もあるので、柵は残して隣地住人に越境に関する覚書を作成してもらうのはどうかという提案がありました。

仲介業者に柵の所有者は誰か改めて訊ねると、その場合は隣地の所有とせざるをえないという回答でした。

11月に本契約を済ませて手付金仲介料支払済のため、今契約解除をするとうちは違約金含め500万ほど損失します。
このタイミングでいきなりこのような話が出てきたことに戸惑っております。

うちとしては柵を完全に撤去し、新しい柵を敷地内に設置したいと考えています。しかし仲介業者から隣地住民との関係性と言われ不安を感じています。

また、契約前に売主所有の柵と説明されたものが、今になって隣地の所有とせざるおえないといわれた言葉が引っかかります。これまで他にも思うところがあり、仲介業者に対して不審感があります。

今後どう進めたらよいと思いますか？どこに相談すべきか…穏便に柵撤去できるとよいのですが。
よろしくお願いいたします。