実家に頼ってはいけないのでしょうか

義実家は、自宅より徒歩5分、義父母が家業を営んでおり、夫も私もそこの社員(夫は跡継ぎ)
実家は、自宅より車で2時間。父は会社員、母はパート勤務。

うちには小さい子供(3歳と0歳)がいます。
どうしても子供2人を連れて行くのが無理な用事があるときに、
夫は｢他の社員がいる手前、そう簡単には休めない｣と言って休みは取ってくれず、
近所に住んでいる義父母も｢仕事で忙しい！忙しい！｣の一点張り。
幸いにも実母は融通のきくパート勤務、遠方というほど離れていないので、子供を預かってもらうことがあります。
頻度で言えば半年に1度くらい。(たとえば最近では、上の子の幼稚園面接時に、下の子を預かってもらいました)
それが義父母はあまり気に入らないようです。

義父母はとてもいい方です。仕事さえなければ子守でも何でもしてあげるのに、と。
でも実際は忙しくて子供を預かってもらうのは無理ですし、休日に一緒に出かけましょうとお誘いしても
｢孫と一緒だと疲れるから嫌だ｣と断られます。
私も義父母が忙しいのは分かっていますので、無理にお願いすることはしません。
だからといって、実母に頼ることが出来る環境にありながら、それも嫌となれば、
私は誰にも頼らずに1人で頑張らなければいけないのでしょうか。

それと、義父母が事あるごとに、実母のことを｢暇な人はいいわね～｣というのも引っかかっています。
決して暇な訳ではなく、パートをやりくりしてもらって、預かってもらっている状況なので。

義父母の言うとおりに、実母に頼るのはこれから止めた方がいいのでしょうか。
どうして頼れる人がいるのに頼ってはいけないのでしょうか。
子供を預けて遊びに行っている訳ではないし、半年に1度でも実家依存と言われてしまうのでしょうか。

私はどうしたらいいんでしょう…