すれ違う家族計画。。。

３４歳、結婚２年目のみかんといいます。
よろしくお願いします。

夫と私の「家族計画」がすれ違い、助言を頂きたく思います。

私は３４歳であることもあり、「そろそろ子供が欲しいな」と
思っています。
夫にも、「そろそろ欲しいね」ということは１年前くらいから
伝えているのですが、夫の返事は
「将来的には欲しいけど、まだ」との事。

子供のことは、夫婦二人でよく相談するものだとは思いますが、
相談しようと私が持ちかけても、夫は返事をしてくれない時もあります。
返事をしてくれても、「いつかね」との事。

夫には結婚前からの借金もあり、
最近借金の残額について聞いたところ、
どうやら結婚前から返済額は減っていない様子。
あまり詳しく聞こうとすると不機嫌になり、逃げます。

借金のことが子供を持つ上での障害になっているのかな、
とも思います。（本人はそうは言いませんが）

結婚前には、「いつ子供が欲しい」ということは話していませんが、
「子供が出来るのが楽しみだね」と話していました。

このような状況のご夫婦はいらっしゃいますか？
私は自分の年齢や体力が心配なのですが、焦り過ぎでしょうか？

アドバイスをお願いします。