みなさまのご意見お聞かせください

私は今、アパートで夫と子供と暮らしています。 数年前から、新しい家(私達が結婚する前から勝手に二世帯)を義父が建てていました。 流れで、私達も住むのか～といろいろ決めたりして、いよいよ引越し！ってところまできました！ でも、いざ引越しとなってみて、住みたくなくなりました。 その原因は、義弟の子供のことです。 義弟は私達より早く結婚し、子供ができました。 しかし子供が生まれたとたん、嫁は育児放棄で、義母に子供の面倒をほぼみてもらい、しまいには子供が2歳になるころ、離婚しました。 嫁は子供を引き取らず、置いていく形になりましました。 義理実家から車で五分くらいのアパートに住んでいたのに、離婚をきっかけに、義弟は、実家からさらに遠い(30、40分)ところに引越してしまいました。 もちろん子供は、親に面倒をみせていて、自分は、ほぼ会いにきません。 子供にかかる費用なども払っていないようです。 義弟の離婚によって甥っ子が新しい家に住むというのは、私自身、1年前くらいからわかっていました。 家もなかなか建たず、なあなあでいたのも悪いのですが やはり二世帯といっても、階段ひとつで部屋に来れる状態なので、甥っ子が毎日来そうで嫌なのです。 今も、たまに遊びに行って帰るとなると、私達の家に一緒にいくー！って感じで、甥っ子は、夫にも私にもなついています。 甥っ子はかわいいし、嫌いではないのですが 毎日来られては、さすがに私もストレスがたまります、、、 子供なので、来ないで！とも言えないし。 引越し目前にしてですが、 甥っ子がせめてもう少し大きくなるまでは 住まないというふうにしようと思うのですが どう思いますか？ 私の心が狭いのでしょうか？ どうかご意見お聞かせください。