義父母の家の近所への引越し

私は33歳の長男嫁です。
夫が現在転職を考えており、義父母の家の近くに引越したいと言っていますが、私は気が進まず反対しています。
詳しい状況を以下に書きますが、私の考えがわがままなのかなと思うこともあり、皆さんだったらどのように考えるか知りたくてトピを作成しました。

私たちには２歳と４ヶ月の子供がおり、現在家族４人暮らしです。
夫は家事にも育児にも積極的で、申し分ない夫だと思います。
私たちの家（賃貸マンション）と義父母の家は新幹線で３時間ほど離れたところにあり、年に２回、お盆と正月に帰省しています。

私自身は一人目の子供の出産を機にそれまで働いていた仕事を辞め、現在専業主婦をしていますが、二人目の子供が保育園に預けられるようになったらまた働きたいと考えています。
経済的には夫だけの収入でもなんとかやっていけますが、私自身働くのが好きで、もう少し金銭的に余裕のある生活がしたいのと、憧れのマイホームを持ちたいと思っているからです。
私も夫も独身時代に貯めた貯金があり、こじんまりとしたマンションや一戸建てであれば購入することも可能で、私は以前から購入したいという気持ちを夫に伝えていますが、夫は購入するなら義父母の家の近くがいいと言ってこれまで賃貸住まいです。

義父母は基本的にいい人達で、孫が大好きで嫁の私のことも気遣ってくれます。
義父母の家から車で１時間のところには私の実父母も住んでおり、つまり、義父母の近くに引越せば、実父母とも近くなるというメリットがあります。
それでも、私としては、義父母の近くに住んでしょっちゅう会うよりも、年に２回、お盆と正月に帰省して短期間実家に滞在するくらいの適度に距離を保った関係の方がいいなと思ってしまいます。

それに、義父母の住む街は私たちが住む街よりも大手企業が少なく、メーカーの技術職をしている夫にとってその技術を活かせる仕事が見つかる可能性は低いと思っています。
現在の仕事を辞めて、給料が下がってもいいから転職して義父母の近くに住みたいという夫、親を思う子の気持ちは分かりますが、私や子供たちの幸せが２の次になっていると感じざるをえません。

義父母は二人とも今は元気そうですので、そばに住んで面倒を見る必要もないと思いますが、もしどちらかが亡くなって一人きりになってしまった場合は同居してもいいかなと思っています。

このまま反対姿勢を貫き通せば夫も無理やり転職することはしないと思いますが、マイホームを買うという夢もかなわないということになりそうです。
私は今住んでいる地域で家族４人が幸せに暮らせる新居を構えて仲良く暮らす、それがベストだと思っています。
私と同じように考える方、夫の気持ちを考えて転職に賛成すべきという方、いろいろな方のご意見を伺ってみたいです。

長文、乱文で失礼いたしましたが、よろしければご意見をお聞かせください。