転職してバリバリ働きたい、と思うのは子供に悪影響？

けいぽんと申します。

現在、私と主人、息子（４歳男児）と実母の４人で暮らしています。

出産を機に転職して家から近い（車で１５分ほど）の会社で派遣社員として働いています。当初は元々正社員として勤めていた会社に復帰予定でしたが復帰の時期や条件が合わず退職する事になりました。

前職は多忙な管理職でしたが自分に合っている仕事だと感じていましたしやりがいもありましたが子供を産んで育児や家庭での生活も大事にしたいと思うようになったのも退職の理由でした。

現在息子も４歳になりだいぶ手が離れてきた部分もあったり、もともと子供好きな実母（おばあちゃん）と仲良しな事もあり、以前のようにフルタイムで仕事をしたいと考えるようになりました。

主人とは結婚の際に『私は何らかの形で一生仕事をしたい』と言うお願いをした事もあり働く事には賛成ですが、子供に負担がかかるような働き方は母親として良くない、と言う意見です。

お恥ずかしいのですが、どの程度が『子供への負担』になる働き方なのかいまいち分からない部分があります。

息子は（叱り役である）ママよりいつも優しいお祖母ちゃんがそばにいてくれたら満足みたいですし、幼稚園での諸々のお付き合い、病気になった時の対応、毎日の食事、家を清潔で安全に保つなどの役割はこれまでもこれからも私が責任を持つつもりです。

でもママの帰りが遅くなったりする可能性が多くなる事、それ自体だけでも４歳の息子にとって負担でしょうか？

現在の派遣先（５年目)で社員化の話がありましたが転勤がマスト条件なので踏みきれませんでした。

乱文で恐縮ですがお子さんが小さいうちに転職・キャリアアップされた方やお子さんがいらっしゃらない方からの客観的な意見など頂ければ嬉しいです。