近隣トラブルへの対応について

初めまして。お目を通していただきありがとうございます。近隣トラブルへの対応などについてご意見を聞かせていただければ幸いです。 30代前半夫と二人暮らし。夫は仕事で家を空ける事が多く、私はたまに在宅で仕事をもらう位でほぼ専業主婦です。トラブルの相手は自宅の裏(住宅街の同じブロックの角地)に住む老夫婦です。 二年前に注文住宅で家を建てました。昔ながらの住宅街という事もあり自宅と相手の家との間はかなり狭いのですが、引越してすぐ裏のお爺さんが勝手に敷地に入ってきて自宅との境界線に柵を自作し始めました。杭を打つ音がかなり響いてきて、休みで家に居た夫が注意しても適当な返事で聞く耳を持たず…。すぐにおかしい人だと気付き、塀に何かぶつかる音もしてきたので防犯も兼ねて監視カメラをつけましたが数日後には角度を無理矢理変えられました。 その現場が映った証拠を持って警察で経緯を話しても被害届を出したらエスカレートして復讐されるかもしれないと言われて怖気付いてしまいそのまま帰りました。 暫くしてペンキで家の一部を塗り始め、その時に垂れたペンキが我が家の駐車場に…本人に落として貰いましたが完全には落ちてません。 最近はご丁寧にフェンスの間から敷地内へゴミを入れられます。小箱や煙草の吸殻など。カメラなど下手な事をして嫌がらせが酷くなったらと思うと、家を手放して今の環境から離れた方が良いのかなと思ってます。お婆さんの方は最初こそ友好的でしたが、急に豹変して今では顔を合わせると凄い形相で睨まれます。 関係あるか分かりませんが、先日知らない男性が外から家の中の写真を撮っていきました。 ゴミを捨てられた場所がいつも居る場所のすぐ近くで何で気付かなかったのか、もしタバコに火が付いてたらと怖くて精神的にも辛くて、夫は心配してくれて引越しにも賛成してますが…皆さんならどう考えてどう行動しますか？