繰り上げ返済か？貯蓄か？

47歳、共働き子供ナシの夫婦です。
昨年7月に家を買いました。
預金とそれまで住んでいた家の売却金で頭金や引越しなどの費用を払い、ローン残高があと1100万円あります。
私の手取り年収440万円の内、300万円を毎年ローンの支払いに当てるつもりで、140万円を貯蓄、あと4年くらいでローン完済のつもりです。

今手元にある預金は600万円強。
皮算用では繰上げ返済をしても4年後には1000万を少し超える計算で、その後定年までは私の収入はなるべく貯蓄で残すようにしていこうと思っています。

ただ、このご時世私も主人もいつ仕事を失くすかわかりません。
二人とも計画通り働ければよいですが、ローン完済までの4年間にどちらかが、または二人ともが無職となった場合、手持ちのお金が600万では厳しいのでは？と思うようになりました。
今はボーナス払い無しで年76万円くらいのローン額ですのである程度お金が貯まるまで繰り上げ返済は止めて先に貯蓄に回そうかと悩んでいます。
でも、金利を考えるとやはりローンを早く無くすほうが良いのかわからなくなってきています。
主人の収入は毎月手取りで23万、ボーナスは無く毎月少しは残るものの車の維持費や固定資産税などで毎年きれいさっぱりなくなります。
転職となった場合年齢的に見ても半年から1年は職探しに費やしそうですし、その間生活するための預金が600万では心もとない気がします。

みなさまならこのような場合繰上げ返済と貯蓄、どちらを優先されますか？
必要な追加情報がありましたら補足致します。
専門家のご意見や、経験談などありましたらぜひお願いします。