隣の家が境界に植えた木について

建売の新築戸建に引っ越してきて3年くらいになります。 隣の家も同じ時期に入りました。 その隣の家の人が私の家の南側の庭との境界フェンスのところにオリーブの木を植えました。 1年くらい前のことです。子供誕生の記念のようです。 その時は小さかったのですが、この夏ぐんぐん成長して1m以上になって、フェンスを越えた枝は私の家の庭に入ってきています。 一緒に植えられている蔓性の植物もフェンスから飛び出したり、巻き付き始めています。 気になって調べたところ、オリーブの木は地植えだと3～4mにもなるらしいです。 そうなると、南側の庭が日陰になったり、私の庭側にどんどん飛び出してきたらとおりにくくなり、狭くなりそうで不安に思っています。 しかし、隣の人は自分の土地に好きなものを植えただけだし、移動して欲しいとか鉢植えにして欲しいとかをお願いするのも変かな？と思っています。 町内会などもなく、私は働きに出てるので、日中がいないし、隣の人とは挨拶程度の関係です。 声も小さく、挨拶もこちらからでないと滅多にしないし、どんなことも言いづらい感じです。 また、この隣人は境界フェンスにたぶん悪意なくいろんなもの（花やごみなど）を引っ掛けています。この件も気になってはいましたが、何も言えずにいます。 隣人はおそらく境界フェンスが共用部分であるという意識がほとんどなく、気にしないような人たちなのかもしれません。 話は逸れましたが、そのオリーブの木についてどうしたらよいかどうかアドバイスをお願いします。 そのままにしても大丈夫なのか、庭が侵食されるけど、そのままにするしかないのか、何も言わずにこちら側に木の板（ラティス？）を設置して少し防御するか（防御になるかわからないけれど）、 思い切って、隣人に移動をお願いしてみるか。どれがいいのか。その他対策アドバイスありましたら、よろしくお願いします。