家の住み替え・引越しをしたくない。離婚が頭をちらつく

私・夫ともに34歳、1歳半の子どもと来月もう1人子どもが生まれます。 3年前に新築の建売を購入しましたが、今となって夫が家の住み替えをしたいと言い出し、引越しを検討しています。 夫が気に入った家（中古一軒家）を見つけてきて、私も内見にも行きました。 しかし、どうしても住み替えを前向きに考えることができません。 メリット ・夫の通勤時間が短くなる（片道1時間→45分） ・私の通勤時間が短くなる（片道1時間→20分） ・都心に近くなる ・子供の将来を考えると色々選べることが増える デメリット ・ローン返済中 ・家を売却したら数百万損が出る見積もり ・ローンと生活費が高くなる ・家も土地も狭くなり、今の家より日当たりがかなり悪くなる ・子どもが保育園に慣れてきた頃に引越し。また年度途中なので空きがなく待機児童 正直私の享受できるメリットは通勤時間くらいで（苦痛ではない）、あとは夫が考えているものです。 私は今の家や住環境に特段不安はありません。 私の夫へのイライラポイントの1つが、今住んでいる家を買う時、夫に「後からこの家を買って後悔したと言わないで」と約束していましたが、今となって「後悔している。当時も正直そこまで欲しくなかったが、私が気に入っていたから言えなかった。もっと大きい町に住みたかった」と言っている所です。 また、私がいま臨月の状態なのに買い替えと引越しの話をどんどん進めていることも信じられない気持ちです。 また夫は都会の方に住みたい欲が強く、また気に入らなくなったらさらに都会や東京などに住み替えをしたいと言い出さないか不安です。 不満点は夫にも伝えましたが、それでも住み替えたいらしく、売却損が出る分は夫が補填、引越し代も夫が出すなど言っています（貯金無いのに） 正直単身赴任か、もう離婚でも良いと考えてしまいます...。 私がわがままなのでしょうか？