隣家の塗り替えの足場

両隣の家の外壁塗り替え工事の足場についてです。
住宅街にある土地に10年前家を建てました。3方既に家が建っていました。建築の際は近隣への迷惑を最小限にする為、足場は自分の敷地内で組めるよう設計しました。日当たりや室外機の設置場所も隣家に話を聞き、要望に沿うよう配慮して設置しました。建てられる範囲は狭くなりますが仕方ありません。
昨年左隣の家が塗り替えしました。隣人は挨拶に来ましたが「お宅に足場立てるって言うんで」（業者が言っていたという意味）と。それだけです。揉めたくないので黙っていましたが、普通は足場を建てさせてもらえますか、と聞きませんか？
また、左隣は角地緩和？で境界ギリギリに建っていて室外機も我が家にはみ出しています。我が家の設計をした設計士の方も角地でもエグい建て方ですねと言っていました。防火の関係で我が家は境界から1.3メートル以上離さざるをえませんでした。
昨日右隣の家が塗り替えると挨拶に来ました。右隣は境界から数十センチ（法律ギリギリと思います）に建っています。こちらの隣人も「足場建てるんでよろしく」と。工事は明日からです。なぜ人の土地なのに当然のように話が進んでるんでしょうか。
地価も安くはない地域です。前所有者が両隣に接地を1メートルでも買わないかと話しましたが断られたそうです。
我が家も安くない費用を出して買った土地です。当たり前のように使われることに腹が立ちます。
昨年の左隣は、工事の人が我が家の駐車場（2台分あり1台しか使っていません）を勝手に道具置き場にしたため苦情を入れました。
右隣もギリギリに建っているのできっと我が家の敷地を通路として使うだろうし、もやもやします。
隣地を使う権利の事は知っていますが、事前に使わせて欲しいと言ってもらえれば気持ち良く貸せると思うのです。同じような思いをした方いませんか？