働くことを決めたら、夫が・・

28歳の専業主婦です。2年前、結婚を機に仕事をやめました。
3歳上の夫は、同年代のなかでは比較的給料は高い方です。
金銭的には、私が専業主婦であり続けることは可能です。
私が仕事をやめたのは
1早く子供を持ちたかった
2ハードワークで疲弊し、働きながら家事をすることは無理と思った
3夫の希望（できるなら、家にいて自分を癒してほしい）

2年間で子供はできず、夫は毎日帰りが遅く、
私は時間を持て余すようになりました。
そこで、以前より前の職場から、
非常勤で働いてくれないかと言われていたため、この春から
週3日・それぞれ半日程度の勤務をすることを夫の了承も得て決めました。

ただ、働くことを正式に決めてから夫が毎日暗いです。
「これが離婚につながったりして」とつぶやくこともあります。
家事は以前のように私が全てやる予定ですし、
夫より早く帰宅できることは確実です。
「何が不安なの？ご飯もちゃんと用意するよ」と言っても、
「家にいてほしい・・」としか言いません。
夫に元気を出してもらうには、どのように言えばよいでしょうか。