家を新築しますが実家が・・・

こんにちは。ご意見をお聞かせください。
わたしは今年26歳になる主婦です。
一昨年、家を建てるべく夫とともに土地を探し始めました。
しかし、条件に当てはまる土地がなかなか見つからないまま、2年が経過しました。その間に妊娠し、出産。現在7か月の男の子の母をしています。

そして先月、やっと条件に合う土地が見つかりました。
１・夫の通勤に便利
２・夫の実家に車で30分以内
３・新しい住宅街
４・予算
５・広さ
すれがすべて希望通りでとても気に入っています。

ただ一つ気になることがあります。それはわたしの実家が徒歩５分の場所にあるのです。目に見える場所ではありませんが、自治会も子供会も同じになると聞きました。

実家の両親との仲は良好、実家には兄夫婦が住んでいますが（彼らも土地を探しながらお金をためているそうで、いつまでそこにいるかはわかりません）特別不仲ではありません。まだ仲良くなりつつある途中です。兄夫婦には9か月の子供がいて、わたしの子供と同じ年です。

このような状況で、実家の近くに住むのは避けた方が一般的には無難なのでしょうか？近所の人はなにか変な目で見たりするのでしょうか？
ちなみに義姉は「住んでいる場所が近いと子供同士遊ばせられるし、いいと思う」と言ってくれていました。
義母も「実家が近い方が頼りやすいだろうし、わたしも安心」と言ってくれています。

そのたは条件にぴったりなのですが、実家が近すぎるとどんなマイナスがあるのか気になっています。
（知人に「実家の近くに住むのはあんまりおすすめしないよ」と言われたため、気になるようになりました）
　
みなさんの意見を聞かせていただけると嬉しいです。