母に住宅購入の反対されています

30代夫婦、2歳ともうすぐ二人目出産

主人は長男。義母(義父は他界)は3年前新築した家(3LDK)に次男と住んでおり、義姉夫婦も10分程のところに家を購入。義祖父祖母も10分程のところにいる。義母が亡くなったら家は私達夫婦に任せてある。

私の両親は二人暮らし。親戚と縁を切っており周りに頼れる人は私だけ。兄は結婚して県外におり、帰ってくる見込みがない。

2年前から住宅購入を検討。実家は田舎で私の職場から一時間(高速30分)かかるので、職場に近い市内の方でいいよ。実家の方には建てなくていい。と言われていた。
また、市内の方で両親と２世帯を提案し母も嬉しそうではあったが、元気なうちはこのままでいいと両親から返答あり。

娘が小学生になる頃にと思っていたが、私の職場から10分の所に出ていた建売りが値下げになり、義母、義姉の家からも徒歩5分、交通の便、通学など全てが見てきた中で好条件。実家からは50分〜1時間、高速使って30分。電車、バスで1時間。
両親にも急遽見てもらい『好きにいいよ』と言われ、今買わなかったら、このいい条件で買えないだろう！と夫婦2人で話し２時間後には契約しました。

すると、翌日から、私の母が
もうこちらには頼らないで。孫の面倒は見ません、全て義母の方で。全て義母の思うとおり。私は負け犬。見捨てられた。そんな焦って買う必要があったのか。こっちに建てればもっと安かった。などの連絡が次々と入り、鍵を返してなど色々言ってきます。父は、急だったから気持ちが追い付かないんだろう。一時的なものだから気にするな。と賛成してくれています。

今も市内の社宅(新居とは5分程の場所)ですが、産休中で頻繁に行き来し、近くの義母より母を頼っています。家を建てる場所は、共働きで旦那は県内異動、夫婦不規則な時もあるのでどちらかの家に寄せるつもりでした。

私が親不孝？解約するべき？