二人目を望む主人、踏み切れないわたし

主人は30、私は29、2歳半の娘がいます。
育休をいただいていたので、子どもが一歳のときに仕事復帰し時短勤務ですが正社員として働いています。

主人は二人目がほしくて毎日のように、もし二人目ができたら…
と話題に出してきます。
わたしも本当は二人子どもがほしかったですが、一人産み、一人っ子でもいいかなという気持ちでいます。
というか、二人目を作る勇気が出ません。

理由は、世帯収入が少ないこと。
主人とわたしは同じ職場で働いていますが、主人の手取りは月18万、ボーナスは年二回25万ほどずつ。
わたしは時短の今、月11万、ボーナスは同じく20万ほどずつ。
貯金は300万ほどです。
借家で暮らしており、親戚の空き家を借りているので家賃は0です。

もう一つの理由は、主人がそれほど子煩悩ではないことです。
家事はものすごくやってくれてとても助かっていますが、子供に対してはあまりで、
ほぼわたしが相手をしています。
子どもが話しかけてもスマホに夢中だったり。

あと一つは、主人と一度離婚しかけたことです。
主人は結婚したときカードローンを80万ほど使っているのを黙っていて、
発覚したあとなんとか返済しました。
それでもお礼もなく、切り詰めて生活していたのにお小遣いが足りないと言ったりパチンコばかり行ったり。
人が傷つくことを平気で言い、仕事をがんばりたくない言い始め、もう無理だと思い離婚しようと思いました。
少しの間別居し、主人が改心しまた暮らしています。
前と比べると金銭感覚もマシになり、優しくなりました。

これらのことがあり、二人目を作ることに躊躇します。
でも、兄弟がいたら楽しいだろうか、と思ったり
主人があまりに二人目を望むので悩んでいます。
実母には、苦労するのはあなたなんだからやめとおきなさいと言われています。
第三者から見て、どう思われますか？
意見を聞きたいです。