実家に帰ってあげなさいという義母

トピを開いていただき、ありがとうございます。
小さな悩みとは思いますが、聞いてやってください。

昨年11月に男の子を里帰りで出産しました。
実家は主人と子どもと暮らしているアパートから高速で2時半くらいです。正月明けにアパートに戻りました。
その後、月に1回くらいは母か両親揃ってこちらに子どもの顔を見に来てくれるのですが、義母がもっと帰ってあげなさいと何度も言います。
主人の実家はアパートから15～20分くらいで、夕方になると義母か義父のどちらかが子どもを見に来てくれ、その間に夕飯の支度をさせてもらっています。
主人には兄が2人いますので、義両親にとっては7人目の孫ですが、こんなに密に関わることは少なかったようで、とても嬉しそうにしています。私もありがたく甘えさせてもらっていますが、こんなに可愛い時期はすぐに過ぎる、人見知りが始まったら向こうの(私の)祖父母のことを忘れてしまう、と言います。
私としては、荷物も多いですし、コロナのこともあるので(途中で休憩を挟みますが、ちょうどコロナ大流行の県です)、あまり帰りたくないのですが、あまりにも義母が帰れ帰れと言うので、今月1度帰りました。
荷物の準備、車への積み下ろし、子どもに気を使いながらの運転、初めての子育てに疲れている私には、本当に大変でした。まだ夜間の授乳もあるので眠いです。それに、両親ともに仕事をしていますので、帰ったところで昼間は誰もいません。両親が帰ってくる頃にはこの子をお風呂に入れて寝かしつける時間になります。
1度帰ったので何も言わなくなるかと思いきや、また帰ってあげなさいと言います。準備も運転も大変だし、コロナのことも心配と言っても伝わりません。私の両親も、無理して帰ってこなくていいよと言ってくれています。
義母に何と説明すれば分かってくれますか？いい言い回しをどなたか教えてください。