おかしいですか？

度々小町でお世話になっているポニョといいます。
４ヶ月の息子をもつ新米ママです。夫側の家族についてなんですが。。。
まず、義姉、義妹がいましたが義妹は２年前がんで亡くまりました。亡くなった義妹は亡くなる１年半程前に娘を出産し、シングルマザーでした。
今は義父、義母、義姉が育てています。義姉は結婚していません。
義両親の家からは車で2時間半程離れています。帰るのは、ゴールデンウィーク、お盆、お正月とたまに遊びに行く程度です。
夫は優しくて、家事も育児も協力的にしてくれとてもいいパパです。でも、義実家をとても心配しています。もっと帰って○○と遊んでやらんと、とか義両親が疲れきってるから俺もあっちに永住したいとか、、。他にもいろいろと、、実際、帰るとその子はとても夫になつきほとんどいっしょに遊んでいます。私も可愛いなーと一緒に遊んだりしていました。
気持ちは凄くわかるんです。その子はお母さんもお父さんもいなくてまだ、２歳半だし可愛がってあげたいし、ましてや妹の子供だし。。実際、私の妹がいてそうなったら、、と考えると同じ事を思うかもしれません。
でも、私はなにかこう心の中かむしゃくしゃします。うまく言い表せないですが、将来義実家の近くに引っ越しすることになったら不安で不安仕方ありません。
こう思う私はおかしいですか？
みなさんの意見が聞きたいです。