繰上返済のタイミング

繰上返済のタイミングについてご意見お聞かせ下さい。
結婚5年目、子供無夫婦。2年後くらいに一人だけ子供希望。
私29歳女性。年収300万円（額面）。
夫34歳男性。年収750万円（額面）。
マンション購入が2014年4月で、その際フラット35のローンを申し込みました。
物件価格3600万円、諸経費200万円でした。
貯金から頭金700万円、諸費用200万円、家具家電に200万円捻出しました。ちなみにローンは2900万円の契約をしました。
2015年1月、1回目の繰上返済を500万円し、現在貯蓄は1200万円です。

フラットですが一部優遇金利が受けられたので金利が変動していくタイプです。
1年目～5年目 1.04%
6年目～10年目 1.34%
11年目～35年目 1.74%

月の支出は33万円程、大きめの旅行などの出費を含めると年間430万円程の支出。
私が今年から転職したため、貯金は年300万円程度になると思います。
希望としては、1500万円貯めたタイミングで500万円の繰上返済をしようと思っていますが、しない方がよいでしょうか？
またいいアイディアがあればご教示願います。