どのように伝えたらいいでしょうか

結婚して10年、いろんなことがありました。 貯金もないのに結婚して、主人の仕事の都合で双方の実家から遠く離れたところで暮らし、すぐ妊娠。 二人目出産後は保育園に預けて私もパートで働いています。 もともと私は我侭なほうだと思います。 けれど、主人は私の上を行く自分第一主義の人で、今では主人の顔色を自然に伺う自分もいます。 今回、転職に際して実家近くに帰ることになったのですが、二度の転職で貯金を使い果たしたため私と子どもだけ帰る事が出来ずにいます（主人は実家にいます）。 私は、甘いのは承知ですが、親に借金してでもとにかく帰って主人と子どもと一緒に暮らしたいんです。私の親もそれを望んでくれていますが、主人は猛反対です。 引越し資金が貯まるまでは別生活でも仕方ないと。 でも、ここまで貯金がないのも主人のやりたい様にやってきた結果だ、という思いもあります。転職も浮気も、すべて許してきましたが、今回は譲りたくありません。 「今回は私の思うようにする」と言ったら、主人はどうするでしょうか・・・ 怒って口も利いてくれなくなりそうで、怖くて言えずにいます。