二人目が欲しいのかはっきりしない夫

4歳女児と会社員の夫（35歳）と暮らすお疲れママ（37歳）と申します。
私もフルタイム正社員で、夫は６時台に出勤し夜も遅いので、保育園の送迎は私がしています。近くに親類もおらず、夫婦で家事を分担してなんとか子育てをしている状態です。

この春に、私が今の職場で１年以上が経ち（１年経ってから妊娠→出産する人が多い）、「そろそろ二人目を」と考えていましたが、最近になって、夫に「子どもを育てる覚悟（意欲？）」があるのか？という気持ちになってきました。そして、私の気持ちも急速に冷めつつあります。

一人目出産後はレス状態で、「数か月がんばってみるか！」と夫は自分で言っていたにもかかわらず、タイミングについて尋ねることもなく、タイミングを気にせず自分から誘ってくることもなく、寝床でも遅くまでスマホをいじっていたりと、授かりたいと思っているようには見えません。
私が排卵検査薬を使用して「今日がその日だよ～」と誘って、１度は妊娠反応が出てから生理が来たこともありますが、その後、私も気持ちが冷めてしまいました。

また妊娠・出産のためにはママ大好きっ子の娘の世話もより頑張ってもらう必要がありますが、このお盆休みにも「二人で出かけよっか？」などと娘を誘っておきながら、その後ダラダラ過ごし、後から娘が「おでかけは？」と聞くと「（娘）が昼寝したから行けなかった」等、自分の行動は棚に上げて話すなど、子どもに対して真剣に向き合っていないと思うこともあり、正直、夫に対してすごくイライラします。

今日、娘の寝た後に、夫に「二人目を本当に希望しているのか」と尋ね、私は「今の状態だと、とてももう一人産む気にはなれない」と、最近感じたことなどを話すと夫は「もういい」と言って怒って出て行ってしまいました。
私の考えていることはおかしいでしょうか。