婚家近くに住んでいる方アドバイスください

30代前半ジーナと申します。
よろしくお願いします。

数年以内に新築を考えています。
義実家から車で10分の所に義父が土地を持っており、その土地で建てようとホームメーカと間取りの打ち合わせをしてきました。満足のいく間取りはできましたが、義実家が近いこと、近くにスーパーはなく不便、とても田舎な所なので、本当にこの場所で建てて後悔しないのだろうかと、とても悩んでいます。
主人は、実家大好きな人なので、頻繁に行き来するようになると思うとゾッとしています。
主人は、アポなし訪問は禁止してもらうし、毎週毎週行かないから、この土地で建てようと言っていますが、適度な距離が保てるのか、とても心配です。
義父は、常識ある方で、適度な距離を保ってくれていますが、義母は、趣味も友人もなく、孫がかわいくて仕方ないといった感じで、徒歩圏内なら、毎日でも来てしまいそうですが、運転免許は持っておりませんので、車で10分の距離なら毎日の訪問はないと思います。

義実家近くに住んでいらっしゃる方、または断った方、このまま建てるべきか、家を小さくして別の場所に建てるべきか、アドバイスください。
よろしくお願いいたします。