どうしたら良でしょうか

３５歳、専業主婦、三歳の息子がいます。そろそろ二人目を、、と思って主人も女の子がほしいと熱望していたのに、先日、そんなに頑張らなくてもいいんじゃない？と言われました。どうして？と聞いたら子供一人だけでも君がとても大変そうだから（主人激務のため、平日はなかなか協力できない毎日です）、体力的に君が心配なんだ。と言われました。１５８センチ、産前は４３キロだった体重もいま３９キロくらいです。疲れやすくなっているのは確かです。 もともと生理不順で、産後生理が再開しなくて、また婦人科に通っています。でも子宮に問題ないので、薬を飲んで生理をおこし、あとは基礎体温とタイミングで妊娠は可能だと婦人科の先生はおっしゃいます。 主人の年収は１０００万、経済的な心配はないのですが、３５際という年齢的にも頑張るのもあと２，３年かなとも思います。 後悔したくないので、頑張ろうか、、それとも一人で十分なのか。 これから自分の気持ちをどう持っていっていったら一番よいのでしょうか？