ありがた迷惑なおじさん

30代子供のいない主婦です。よろしくお願いします。
今年市民農園に応募し、念願の家庭菜園を始めました。
わりと広めの農園で100人分くらいの区画された畑があります。
会った人にはとりあえず挨拶をしているのですが、その中のおじさんに迷惑しています。
初日に話しかけられ、毎年使用しているようで、この農園にも詳しく、畑の知識も豊富みたいでした。

でも自分の知識以外はダメ出しする所や、区画外に自生したニラの苗を抜き、私の畑に植付けようと言われたり、ちょっと押し付けがましいな～と思いました。
その後も水遣り等のたびに話しかけられます。
どうやら一日中いるようで、他の人の情報「あんたの隣は○○に住んでるおばさんで、こっちの○△さんは××に勤めてるおじさんで野菜泥棒だ」とか言ってきたり、最低30分は相手にしないといけません。

私がいれば許可が取れたと思うのか、私の畑をいじるので相手にしないわけにはいきません。
仕事帰りに寄るため、夕暮れの広い畑の中延々と２人きりなのも嫌ですし、なにより自分の畑なのに色々口出されて好きにできないのが嫌です。
やんわりと「あぁー」とか「それはいいです」「大丈夫です。いりません。」と断っていますが、効果はありません。

ウォークマンを聞いて無視すればと思いましたが、大声で真後で呼ばれ続けたので、仕方なくはずすと「ずっと待ってたんだよ～」と言われました。
それ以来いなくなるのを待って、夜畑にいくようにしていますが、これから明るくないとできない世話が出てきます。
でも頼んでもいないもの（いらないと断った）畑に置かれたり、手を出された形跡が見られたりそれもうんざりです。
そのおじさんの話だと去年私と同年代くらいの方に話しかけ、世話をしていたら「主人が嫉妬深く、もう話しかけないでくれ」と言われたそうです。
どうしたらよいでしょうか？