お金のためでなく働きたい場合

初めまして。40代後半の主婦です。
子供は中3男子、小4男子です。

そろそろ子供も大きくなり、私もあまり歳をとりすぎないうちに外で働きたいと思い、
この夏から、期間限定で週3日の派遣のお仕事をみつけ、働いてきました。

仕事はとてもやりがいのある仕事で、また周囲の人にも恵まれ、
身ぎれいにして出かけることや特技を生かしてお金がもらえる幸せ等々、
とても充実していました。
また、時間が限られていながらも、メリハリがあるため、
家のことなど、在宅時よりも効率よくやれたように思います。

ただ、小4の息子が、一人で留守番はいやだ、と言いだしまして・・。
もちろんお友達と遊んだりもするけど、そうでない日もあります。
また最近日が短いことも、寂しさに拍車をかけているかもしれません。
週3日とはいえ、仕事の日は私の帰宅はやはり6時半くらいにはなります。
上の子はもっと遅かったりするので当てにならず。

現在の仕事は年内でひと段落ですが、
引き続き派遣会社から、別件でお仕事を紹介されつつあります（ありがたいことです）。
しかし、上のような状況で、引き続き仕事を続けていいものか、非常に悩ましく感じています。
子供が帰宅時に私を必要としてくれるのは、せいぜいあと1－2年？だったら、
今あえて外で働かなくてもと思う反面、
目の前のチャンスを逃して、家でうつうつと過ごすのもなんだか・・

これでお金のためなら、問答無用で子供をおいて働かなければならないのですが、
幸い主人には十分な収入もあり、半ば私の趣味のような仕事に、子供に負担を強いていいものか、悩んでいます。
今はやはり地道にスキルアップの時期と思って、家にいたほうがいいのでしょうか。
経験者の方などから、アドバイスいただけたら嬉しいです。