隣人さんに上手く断るには

父所有のアパートに住んでいますが、老朽化した為取り壊し跡地に私の住む家を建てる事になりました。隣の家との間に塀はなく、隣の人もアパートの敷地を通行していました。（通らせて欲しいと話があり父が了解しています）

アパートならいいですが、個人宅となれば人の家の庭を勝手に通ることになるので私はいやなのですが、父がお隣に建て替えの話をしに言った際に勝手にこれからも通っていいと言ってしまいました。

新しい家は隣との境以外は全部囲い門もつけるので、隣の人が勝手に人の家の門を出入りする事になります。

私は隣との間にも軽く塀のように境界を付けたいのですが、父はダメだといいます。
隣の家の玄関はもちろん公道に面しておりそこを通るのとこちらを通るとの時間の差はほんの数十秒にすぎず、少し便利なだけです。

隣の人とはたまに会った時挨拶する位で交流はまったくありません。
父に断ってもらうと父は話が下手で誤解を招くので、家が出来てからもし隣の人が通っているのを見かけたら、やんわりと「申し訳ないですが、家になったので遠配慮して頂けますか」と言おうと思っていますが、どうするのが一番でしょうか。