子供が欲しくないと母親にはなれないのでしょうか

お互い20代の夫婦です。子供はいません。
昔から子供が欲しいと思ったことがなく、その事で夫と上手くいかず悩んでいます。

子供を欲しいと思わなかったのは、父を早くに亡くし母の苦労を見てきたことや、辛かったこと。父方の祖父母と母との間に挟まれて辛い思いもしたこと。子供が荒れた時に最後まで向き合えるかも不安です。シングルになるような事があった時に1人で大丈夫？とも考えてしまいます。

交際中にこの気持ちは伝えていましたし、彼も納得してくれていました。しかし、結婚後に「やっぱり子供が絶対に欲しい」と言われ、話し合いの末 子供を作る事になりました。
夫と幸せになりたい気持ちや、周りからの励ましもあり前向きになってきていたので、夜勤を辞めて産婦人科に通い、お互い男児を希望していたのでリンカルを処方してもらい、タイミング指導も受けていました。

先日「妊娠したらできるだけ早く帰ってきてほしい。仕事以外での飲酒や遊びに行くのは極力やめてほしい」と頼んだところ、急に夫が不機嫌になり「やっぱり子供はやめておこう」と言われてしまいました。「もともと欲しくないと思っていた人に自分の子供を一日の大半預けるなんて不安で出来ない」「心から欲しいと思っていない人が産んで、愛せなかったらネグレクトや虐待をされるのが怖い」と…

どうすればいいのかわからなくなりました…
元々欲しくなかったことを責められても今更どうすればいいのか…
夫曰く、私の話どうこうではなくただ不安とのこと。子供は欲しいが、自分たち（というか私）では無理だろうと。

私が急に心から子供が欲しくなったといっても嘘ですし、どう振舞えば夫は安心してくれるでしょうか？
また、こう言われてしまい、前向きだった気持ちにも自信をなくしてしまいました。
前向きになれるアドバイスもあれば是非お聞きしたいです。