2人目について

主人42歳、私34歳、息子5歳の3人家族です。
経済的に子供は1人と夫婦で話し合って決めたものの、周りに赤ちゃんが生まれたり、公園などで仲良く遊ぶ兄弟たちの姿を見ると、息子に申し訳なくなり罪悪感で押し潰されそうになります。
それに私も主人と年齢が離れており、子どもも男の子1人なので、将来的に自分自身も寂しいのではないかとも思えてきました。
主人と私の年齢、兄弟の年齢差などからもう今から半年ほどが本当にタイムリミットだと感じています。
主人と私で手取りが30万ほど、ボーナスは80万ほどしかありません。
しかし、主人も私も浪費家ではないので児童手当を含めて貯金は年間100万は出来ております。
家は5年前に新築戸建てを3400万で購入しました。
ローンは毎月45000円以下で返済期間は30年になります。
あまり贅沢な暮らしはしていませんが、カツカツの切り詰めた生活もしたくないので毎月の生活費は毎月22〜23万くらいになります。
現在の貯蓄はおよそ1200万、退職金は800万ほど、将来親からの相続が1000万〜2000万は身込めます。
ただ現在は親からの相続は無しと考え教育費や老後資金の計画は立てております。
このような状態下で子供もう1人もつことに皆さんはどう思われますか？
やはり無謀でしょうか？
もう1人いたら楽しいだろなと簡単に想像はできても、実際真っ当な大人になるよう子供を産み育てることに大きな責任感を感じているため、やはりお金の面が不安で今まで躊躇していました。