夫家族の提案に頷いてしまい後悔

私は田舎育ちで、戸建てが当たり前の価値観で育ちました。戸建てや最新のマンションへの憧れが人一倍強いです。
共働きで、稼ぎは夫と同じだけあり、平均よりも高めです。家が欲しいから手に職つけて、頑張ってきました。
しかし、叶わず。夫や義母の希望に頷いてしまい、身動きがとりにくい状況になってしまいました。夫家族も納得、私も納得となる修正の仕方が分かりません。

夫の両親は熟年離婚しており、その時、義父がマンションを出ていき、義母がマンションに残っていました。義母は専業主婦だったので、義父がローンの返済をしています。家賃以外の生活費はパートでやりくりしています。マンションのローンはあと10年くらい残っているそうです。結婚した際、夫から、母親のマンションに俺たちが住んで、母親は近くのアパートに引っ越したいと言っている。隣人に離婚したと言う目で見られたくないからで、孫の面倒を見たいと。ただ、アパートの家賃は払って欲しいという話でした。
私は所有権もハッキリしないし、エレベーターの無い3階建ての3階のマンションだし、対面キッチンじゃ無いし、職場から遠いし、嫌でした。嫌だと言いましたが、言いくるめられ、最終的に頷いてしまいました。
そして、あれから5年。現在は子どもいて、スーパーの荷物やら子供の抱っこやら、重いものを持って階段を上がるたびに、義母や夫への恨みが湧いてきます。

600万円ほどかけて、リフォームをして、築40年近いマンションですが、立地や景色は良く、自分さえこのマンションを好きになれれば、我が家は幸せだと思います。でも、心が言うことを聞きません。義父のローンの支払いが終わっても、私たち夫婦は義母のアパート代は生きている限り続きます。この話を夫にすると喧嘩になります。
義母には孫の面倒で感謝していますが、家の事があって、感謝しきれなくて辛いです。頷いた以上、腹を括るしか無いのでしょうか。