二人目に対する温度差

現在３０歳、夫４１歳の夫婦です。
２歳半の娘が一人いて、私は二人目を希望しています。
一人目を人工授精で授かり、出産後すぐに「二人目はいらない」と言われました。

確かに切迫流産などで数ヶ月くらい寝たきりになったり、逆子が治らずに帝王切開で出産しましたが、元気な娘を授かる事が出来ました。
私が寝たきりの間でも夫が看病をしてくれる訳でもなく、実家の母親のサポートで乗り切りました。
入院中も数時間いただけで、一日中ずっといた事はありません。
私は娘が可愛いので二人目を…と思ってしまうのですが、夫は育児に参加するタイプではなく自分の趣味であるパチンコが優先です。
口では娘の事がとても可愛いと言っていますが…。

夫は「自分の年齢と体力的な事もあるし」と言いながら、糖尿の病気を持っていますが食事制限する訳でもなく、お菓子を食べたりする事はやめません。
何度言っても嫌な顔をするだけで、医者から制限を指示されると１，２ヶ月は極端に制限しますが、すぐに元の生活に戻ります。
もう体を気遣う言葉すら、かけるのが無駄ではないかと感じてます。
二人目がいらない理由に、お小遣いが減らされるのが嫌な事もあると思っています。
共働きなのでそれなりの生活をすれば問題ありませんが、お小遣いは減らさないといけないと思います。

夫から「二人目の事を言われると尚更に欲しくなくなる」と言われていたので、１年くらいずっと黙って我慢してきましたが、弟のお嫁さんが三人目を妊娠した事で我慢できなくなったと言うのが本音です。
夫に二人目の事を話すと「今まで何も言わなかったのに」と言われ、「今までも欲しかったけど、言わないで欲しいと言うから言わなかっただけ」と言い返してしまいました。

夫の事は心底嫌いな訳ではありませんが、このままで良いのかな？と悩んでしまいます。