住宅ローンの返済

初めて投稿します。よろしくお願いします。 パート主婦４０代前半、夫40代前半、小学生の子供２人の4人家族です。 11年前に住宅ローン35年、2000万円で組み、残高1200万円です。１年前に住宅ローン控除が終了するので、300万円を繰り上げ返済しました。 毎月のローン返済額は4万円ほどです。 金利は支払わなくてもいい銀行でお借りしましたので、０円ですがシステム料金が5000円ほどかかります。4万円の中に含んでいます。 毎月の収入は夫婦合わせて手取り36万円ほどになります。貯金が保険、株、iDeCoなどすべて含めて約2800万円ほどあります。 毎月赤字ではありませんが、住宅ローンを一括返済してもっと生活に余裕があったほうがいいのか、現金をできるだけ多く残しておいたほうがいいのか、迷っています。 子供２人は大学費用までは出してあげたいと考えています。 毎月の貯金は投資信託の積み立てとiDeCoと保険で5～6万円です。 一括返済すればローン分の4万円分は貯金するつもりです。 親族に相談したところ、夫名義でローンを組んでいるため、もし事故や病気で死亡した場合、団体信用保険がローンを免除してくれるのだから、一括返済しなくてもいいのでは？とアドバイス受けました。 正解がわからなくて、皆さんがこの状況ならどうされますか？ 老後のことを考えてよい人生設計があればアドバイスいただければ嬉しいです。 よろしくお願いします。