二人子育て中、引っ越しが嫌です

6歳、1歳の子育て中です。小学校に上がる前に家を建てるか検討中です。
ただ夫と職場が真逆で車で40分以上離れています。私は看護師で夜勤や20時までの勤務もありますが下の子が小学校に上がるまでは時短勤務を予定しています。その間夜勤があるかは直属の上司の理解次第です。
私は職場が近く様々な施設やスーパーが整った今のままのA市希望ですが、夫は上の子が夜勤のとき色々大変だったこともあり実家が近いB市(私の職場は遠くなり旦那は近くなる)を希望しています。私も助けてもらえるととてもありがたいので最初は賛成していましたが、今より田舎になり土地勘がなく何処に何があるのか子供を連れながら運転したり市のサイトをみているうちに不安が募り鬱々としてきました。
土地を見に行っては決めかけた所で色々想定すると、私の職場が遠くなると朝子供を出すときかなり早めに起こして準備しないと間に合わない、でも幼い子供を毎朝早くと急かしたくない、帰ってから夕食準備・介助、お風呂、片付け、宿題、明日の準備・・・日々追われてイライラしそうでマイホームがあっても楽しいのかなと泣いてしまう日もあり決めれません。
お互いの職場の中間を選んでも知らない土地に変わりなくその町は苦手な同僚が住んでいたりと気が進まず家の本も見なくなってしまいました。
ただ、私は夜勤があるため周りの手助けは必須です。自分が場所を譲るかA市のままならいずれ転職して夜勤なしのクリニックにするかになります。夫は結婚したときはA市のままでいいと言っていましたが、私が今の病院を勤めあげたいなら実家に頼った方がお互い楽だしコストも安いといいます。義両親も協力してくださると言っていますが頼ったことがなく色々不安です。ワガママかもしれませんが慣れた土地を離れ１からの気力も体力もなく不安ばかり募っています。アドバイスお願いします。