甥っ子との関わり方

もうすぐ3歳になる甥っ子がいます。
義姉夫婦が近くに住んでおり、ほぼ毎週末、義姉が連れてきて(私たち夫婦が義実家で義母と同居)遊んでいます。そのとき義兄は来ません。

義母にとっては初孫、
私も妻共々子供が好きで、生まれてまもない頃から食事やオムツも含めて色々とお世話してきたので、溺愛しています。

ただ、関わりすぎ、影響の与えすぎで、義兄や義兄実家にとっては嫌なのではないかと思うことがあります。

毎週末のほぼ丸1日の訪問に加え、
保育園のお迎えに、妻や義母が行くことも多く(義姉の家で帰ってくるまでお守り)、
義母が公務員で保育園の園長等をしていたこともあり、子育てや遊ぶ内容については義母が口を出すことが多いです。(義姉からの相談の結果な部分もありますが)

私は、妻と2人か、1対1で甥っ子と関わることが多く、思いつくまま・甥っ子が動くままに遊んでいるだけですが、私を見ると飛んでくるので影響は与えてしまっているでしょう。

子育ては妻両親の助けが大きく、影響があるのは仕方ないと思いますが、正直義兄は義母のことをよく思っていないため(1度義姉夫婦と義母が同居したものの、生活が合わずすぐ出ていきました。)、私を含め義実家側の影響をよく思っていないのではないかな、と思っています。
甥っ子との関わりを見ても、1人で面倒見るのを嫌がったり、遊び方が淡白だなと感じるので、そのせいなのではないかとも思ってしまいます。

妻曰く、義兄はこちらの世話焼きに感謝しているそうなのですが、体面や時期ごとの贈り物、マナーを大事にする人なので、本音は分かりません。

相性の良い義実家なら別ですが、
私が同じ状況なら、自分の子なのに自分の子のような気がしない、みたいな感じになりそうだなと思うのですが、皆さんならどう思いますか？
関わりを意識的に薄くした方が義姉夫婦のためでしょうか？