こどもが欲しいけど、お金の不安

２０歳で結婚をし、２年経ちました。 今は私が２２歳、旦那はもうすぐ２７歳になります。 結婚する前は私が２３歳くらいで子どもが欲しいねと言っていました。 昔から私は体力がなく、旦那もかなりのインドアで体力がありません。子育ては体力が必要だと思うのでなるべく早くほしいと思っています。 しかし、義父の借金が発覚し旦那が代わりに払いました。（旦那が義父にお金を貸して、毎月少しずつ返してもらっています） 最初は旦那の実家に入っていましたが、私が耐えられなくなり、今はアパートで2人暮らしを始めました。 そのおかげで貯金もなくなってしまい、借金が大嫌いでお金の事に細かい旦那は子どもは無理、と言い始めました。 私はストレスで体を壊して仕事を退職してしまい、高卒無資格で正社員の仕事は見つからず、フルタイムですがパートで働いてますが、旦那も低賃金でなかなか貯金するのが厳しいです。 私の実家は貧しかったので、子どもには私と同じような生活をしてほしくないと思うしお金が大事なこともわかっているつもりです。 でも旦那に言われるままでは子どもは一生無理なのではと思います。 私も働かないとやっていけないのに、年を取れば取るほど体力的に子育てと仕事両立できるかも不安です。 補助金などの制度があることもわかっています。心配なのは今の収入にプラス子どもが増えた分の生活費や子どもが大きくなってからの学費を産んでから貯められるか、です。 私の実家は今もお金はありません、旦那の義父も義弟も借金してて頼れる親族もいない。 このような状況ではやはり旦那の言う通り子どもを産んで育てていくのは厳しいのでしょうか。子どもに不自由な生活をさせてしまうかもしれないなら諦めるべきでしょうか、、、