タイミングが掴めない

こんにちは！ 私は４ヶ月の男の子の母親です。 くだらない質問かもしれませんが、もし良ければアドバイスを下さい。 私や主人の実家へ行った時、姉や母、義父や義妹が息子を抱っこしてくれるのですが、どの位のタイミングで私の元へ帰って来させるかタイミングがイマイチ分かりません。 抱っこして可愛がってくれるのはとてもありがたいのですが、しばらくすると「重く(息子は８キロ程ありなかなか重いんです)ないかな」とか「もうそろそろ私の元に戻したいと思ってないかな」とか気を使ってしまって、「重いやろ～もう代わるわ」と言っても「まだ大丈夫よ」と言われます。 抱っこされるのが嫌な訳ではなく、もうそろそろ抱っこ疲れて来たのに、それに気付いてよ～と思われるのが何だか嫌でついついいつも先走ってしまいます… こういう場合、相手が「ママの所に帰ろうね～」と言って返してくるまで放っておいていいのでしょうか…？姉や母にはあまり気をつかいませんが、義父や義妹や親戚などには気を遣ってしまいます。