跡取り息子の家を購入することであったもめ事

夫は、いなかで稼業のある実家の跡取り息子なんですが、
後継ぎをできるだけしたくないので、夫の実家は母親にまかせて別の職種で都市で働いており、私と知り合い結婚しました。
結婚してすぐ賃貸のマンションにすんでいましたが、
家賃がもったいないのと、お互い実家持家育ちのため、
賃貸マンションになじめず一戸建てを購入することにしました。
私は、後々のことを考え、家の土地価格も安く広い家が買えるので、当初夫の実家の近くに購入することを勧めましたが、絶対嫌だ。将来跡を継ぐ気はないといことで、ローン３０年で庭もない都心の職場近くの狭小住宅を購入しました。
しかし最近会社の雰囲気がわるくなったというのと、しんどいという理由で
実家に戻りたいといいだしたのです。
夫の母親は両手をあげてよろんでいますが、生活基盤をこちらでするために、子供の保育園を必死で探し、預け、ローンで家を買い、就職までして働きながら必死でやってきたのに今更、夫の稼業のある家には絶対住みたくありません。
勝手すぎて、このままついていけないと、疲れて悩んでいます。