こういう性格の夫。今は良いけど、後々は働きたいから少し不安…

４歳と３歳、２児の母です。
子供が２歳、１歳の時に知人の会社にパートとして入社しないかとお誘い頂いたのですが、まだ我が子は最も可愛い盛り「もう少し側に居たい、子供からウザがられるようになればその時は働くけど（笑）」と断りました。
その時夫は「どちらでも良いよ」と言ってくれていました。

あれから２年。再び同知人が「もうそろそろウザがられてない？」と電話がかかってきました。やはり再び人手が足りないらしく、私が有資格＆経験者なので、できれば来てもらえないか、という内容でした。しかも正社員で！

まあ、４歳と３歳だし（できればもう少し側に居たかったけど）条件も良いし、子供に手がかからなくはなってきたし、という事で、期日を確認した上「夫に相談してみる、なるべく早く返事をする」気持ちはかなり働く方へ傾いていたため「前向きに検討するね」と言って終話しました。

ところが、２年前はどちらでも良いと言ってくれていた夫が反対するのです。
「まさか本当に働くとは思わなかった。俺の給料だけで充分なのに、幼児を預けてまで働く必要があるの？どうしてもやりたい仕事なの？子供との時間を減らしてまで？後々パートとかでも十分じゃない？」と。
「そこの会社は男性が多い。mkoは男ウケするから心配。（←決してそんな事はありません！容姿も普通だし、夫の買い被りです！）」とも言います。知人が男性なのも気に入らなかったようです。

結婚以来喧嘩は一度もなく、今回のような意見の衝突は初めてでした。温厚な夫が反対しているので、断った方が良い気はするのですが、ただ、今回断るのは仕方ないとしても、後々働きたい時ももしかしたら後者の理由で反対されるのでは？と不安になります。いずれパートか何かはしたいと思っているので。

こういう夫の場合、無理して働かない方が夫婦円満の為には良いのでしょうか？
それとも何か対処法？はありますか？