義姉の思いがわかりません

義姉は、独身で義理の両親と同居しています。
私と主人は同郷ですが、今は飛行機で帰省する距離です。
義姉に、「両親にもっと孫を会わせてやりたい。」「嫁の実家はもう少し遠慮すべきだ」とも言われました。

確かに、トータルすると子供達は私の実家に行くことが多いと思います。
主人の実家には、以前（主人の実家に近くに住んでいたとき）は、週一くらいで子供達を連れてお邪魔していました。
主人は休日は自分の趣味ででかけるので、先に私が子供を連れて行って夕方主人が合流、もしくは、平日にお邪魔して主人の帰宅時間に合わせておいとまする感じでした。
今は、年に３回、主人の実家にみんなで３泊くらい、後は私と子供達だけが私の実家に移動して３泊くらいしてます。夏休みは私の実家には１週間くらいいます。
（主人は私の実家では何もすることがないと言って、来ても日帰りです。
義姉は「男は嫁の家なんて行きたくないわよ」と言っていて、これにも凹みます）

少ないですか？私は精一杯なんですけど。

義理の両親は「孫には会いたいけどきついから今回はムリ」「長時間は相手できない」とおっしゃる時もあり、それにあわせてスケジュール組みます。
主人は、自分の実家でも自分だけで子供達を連れていくのは面倒だから、自分はしないし私にも強要はしないと言います。
でも義姉は「母も弟も気を遣って何も言わないけど、あなたのご実家は気配りが足りない」と。

私の両親は、私が困ってるとき大変なときに「手伝おうか？」と言ってくれるけど、うちがうちが！とでしゃばることはなく、まずは主人の実家からと言っています。
義姉の言うことを聞き流せればいいのですけど、私の両親の気配りが足りないと言われ違和感が残ります。
本当は義理の両親や主人が遠慮してると考えてみたほうがいいでしょうか。