素朴な疑問・繰り上げ返済のメリットを教えてください

37歳の会社員です。夫は50歳。子どもはいません（予定もありません）。
現在住宅ローンを返済中で、あと20年残っています。
夫はできるだけ繰り上げ返済しようと言うのですが、私には疑問があります。

ローンの名義人は夫で、ローンを組んだときに団体信用生命保険に入っています。
ひどいことを言うようですが、万が一、返済期間中に夫に何かあっても
保険でローンは返済できますよね。
ということは、繰り上げ返済のために老後の蓄えを減らさなくてもいいのでは……
と思ってしまうのです。
夫が自由業で収入が不安定なため、頑張ってローンを完済しても
その頃には貯金もないし仕事もほぼないという状況になりかねません。
とにかく老後の蓄えが不安なのです。

繰り上げ返済をしなければ元金は減らず、膨大な金利を払うことになる、
というところまでは理解していますが、老後の蓄えは減らしたくないため
夫のように繰り上げ返済に積極的になれません。
うちのように子どものいない歳の離れた夫婦にとっての、
繰り上げ返済のメリットを教えてください。