２人目が欲しいが・・・

夫４０歳、妻３６歳です。小学１年になる子供がいます。
息子が生まれて１年ほど過ぎたころから２人目に挑戦してきたのですがなかなか授かることができませんでした。

主人も私も切望して１年ほど前から病院にも通い始めたのですが特に原因があるわけでもなくできません。年齢的にもあきらめるべきか悩んでいます。

世帯年収７００万（妻パート）、住宅ローン残２０年１８００万、貯金６００万ほど。子供学資３００万。
経済的にも諦めるほうがいいでしょうか？