住宅ローン、繰り上げ返済した方がいいのかなあ

皆様のアドバイスを頂戴いたしたく、トピをたてました。 説明がわかりにくい箇所もあるかと思いますが、よろしかったらご意見ください。 40代の専業主婦です。 小学5年3年、年長の三人の息子がいます。 11年前に一戸建てを購入。 ローン支払い中です。 ローンは、銀行から借りている分と公的な機関から借りている分と二本立てです。 銀行の分は10年固定で7年後に残り５００万円ぐらいになる予定です。これは ガンの保障もつけているので、そのままにするつもりです。 今回お聞きしたいのは、もうひとつのほうです。 今残り、５００万円ぐらいです。 金利が２５年固定で２．６％。当時は安いといわれていたけど、今現在の状況では高めですよね。 明細を見ていると、返済が毎月４万円なのですが、 そのうち金利や保証料、生命保険料が２万３０００円ぐらいなんです。 年々その割合は減りますが、なんかもったいないなあと思って・・・ この際、全額繰り上げ返済して、その４万円を貯金した方がいいのか、と思い始めました。 が、５００万円一気に返済すると、貯金の残りが４５０万円ぐらいしかありません。 主人の年収の手取りが６００万円ちょいなのですが、だいたい、もしもの時のために年収１年分ぐらい残すべきとよく聞きます。 足りません。 しかも、２年後ぐらいに外壁の塗り替え予定で、それが１００万ちょい。 他にもリフォームしなくてはいけないところも出てくるかも・・・。 車も田舎なので二台必需だし。 子供の教育資金も全然足りないし。 かなり不安です もっと貯金を増やしてから返すべきなのか、それとも、少しでも払う金利を節約するために、今返済するべきか。 とても悩んでいます。 私もパートを探していますが、なかなか見つかりません。 専業主婦前提で、どちらがいいと思いますか？