義父母に内緒でコソコソ実家に帰る私！？

結婚６年目、未就学児２人を持つヒヨです。 夫の実家へは車で２０分、私の実家へは車で４時間の場所に住んでいます。私の実家へは子供が生まれてから３ヶ月に１度のペースで帰省しています。ずっと義父母に帰省の事を知らせていたのですがここ数回は帰省の事を知らせていません。理由は出発の前日に私の実家への手土産をもってアパートにやってくる事（断っても「そういう訳にはいかない」と言ってやってきます）。いつ帰ってくるのか聞かれること。電車で帰ると言ったら大変だからやめた方がいいと帰省を止められた事があること。 帰ってきた翌日にやってきて「みんな元気だった～？」と聞かれる事。夫の実家へは月に２回遊びに行き、義母はアポなしでアパートによくやってきます。なので内緒にしても判ってしまうので監視されているようで気分がいつも重いです。もう色々面倒になってしまい最近は引越しも夫に相談していますが・・。それはさておき、近くに住んでいる以上は留守にすることは義父母には礼儀で伝えたほうがいいのでしょうか。 よろしくお願いいたします。