複雑家族で不安

夫は再婚で小学生の子供を引き取っています。だた、子供は夫の実家でお義母さんが育てており私達と一緒に暮らしていません。夫の実家とは徒歩３分の距離なので週１ペースで子供は家に来ます。 私と結婚するとき義母から「学校はうち（実家）から通わす」と言われ、私は子育てに不安もあったので義母の言う通りにして現在に至っています。 はっきり言うと私は今のままが一番楽です。夫も一生このままでもいいと言っていました。 ただ、義母と子供の気持ちが気になります。義母は孫じゃなく息子と思っていると言っています。私には何も言いませんが、私の事を頼りない。もしくは全て任せて甘えっぱなしでとあきれられているのではないかと、どう思われているのか気になりますし、子供はパパが大好きなので会えなくてかわいそうだ、私がパパをとったみたいだ、やはり家で育てると言うべきではないかと思います。子供にはいつでもおいでといっていますが、うちに来ても夜には実家に戻るので、遅く帰ってくるパパには会えない事が多いです。 このままでよいのでしょうか？私と義母子供の関係が危うくて将来何か起こりそうで不安です。