夫の夢（転職）を応援するべきか悩んでいます

夫34歳、私30歳、5歳と3歳の娘がいます。
夫はスーパー（肉）で正社員。
私は建設業事務で正社員。
先日、夫の働く会社が少し大きな会社と合併し、
社内では職場の変化から辞める人が続出。
夫は職安で新たにオープンする焼肉チェーン店の求人をみつけ、
そこで働きたいと言い出しました。
以前から焼肉屋をしたいというのは聞いており、
それに対しては反対ではありませんでした。
しかし、
昨年マイホームを購入したばかり。毎月10万程支払いをしており、
毎月の収入からできるのは子ども分の貯金のみ。
夫婦二人正社員ですが私の兄（公務員）の1人分より少ない年収です。
でも普通に生活できており、不満はないです。

現在の職場の人間関係は本人曰く良好。
「たまたま行った職安で今までやりたかった焼肉店の求人が出てたのでこれは運命。チャンスだ！今しかない！」
と夫は言いますが私は全く魅力を感じません。
人間関係良好で、給料もさほど変わらない（下手したら今の方がいいかもしれない）。
昼夜逆になる生活で夫婦すれ違いになる可能性大。
定年間近になっても焼肉チェーン店で働いてるイメージがつかない。。
夫は自分で言うほど算数が苦手で家計のことは全て私がやりくり。
なので「ただ目の前に夢の職がある！」ってだけで転職しようとするのが不安でたまりません。
高卒からこれまで、履歴書に書ききれない程転職してきた人で今の職場は一番長い4年。
子どもが生まれる前、住宅ローンを抱える前なら応援できました。
でも今は状況が違うので素直に応援できません。
今までの転職では私の頑張り次第で！と考え改められましたが、
今は二人の子どもの今後の事や住宅ローンのことを考えると抱えきれないと思い反対。
でも「オレに夢を諦めさせるのか」と納得せず。。
私は不安を抱えて応援するべきなのでしょうか。。。