隣のおじさんがイヤです

長屋タイプの家に住んでおります。専業主婦です。
隣に住んでいる住人の60代のおじさんに困っています。

その方は我が家の動向？が気になるらしく、家の様子をとても気にしているのです。
先日は数日間旅行に出ていたら（告知しませんでした）、その間にうちの鉢植に水を遣っといたと、
わざわざ報告してくれました。もちろん「ありがとうございました」と答えました。
また、留守中に鉢が倒れたらしく元に戻してくれたこともありました。つまり、うちの庭に入ったということです。

私が庭に出ると必ずといっていいほど登場します。何を話しかけてくるわけでなく、
一緒に水遣りを始めたりタバコを吸ったりしています。
ちなみに、私だけでなく夫が庭に出ても同様です。

先日、実験として息をひそめて家の中でじっとしていたら（私もヒマ）うちの前を通るたびに居るのかいないのか、
気にしているのがありありとわかりました！

とにかく、一日中ヒマらしいんです。私も専業主婦なので基本は家にいるので最近とてもストレスになってしまいました。
私が働きに出ればいいのですが今は事情があり無理です。

気にならないようにするにはどうしたらいいでしょうか。
気まずくはなりたくないですが、特に好かれたいとは思っていません。（多少嫌われてもいいです）